i>ZddlZejjddgdfgdZy)Nztext,expected_tokensu!คุณรักผมไหม)u คุณu รักuผมu ไหมcZ||Dcgc]}|j}}||k(sJycc}w)N)text) th_tokenizerrexpected_tokenstokentokenss s/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/th/test_tokenizer.pytest_th_tokenizerr s3'34&8 9Uejj 9F 9 _ $$ $:s()pytestmark parametrizer r rs: ACtuv%%r