iddlZddlmZdZejj dgddZejj dgdd Zy) N)like_numc8d}||}t|dk(sJy)NuHÀwọn ọmọ ìlú tí wọ́n ń ṣàmúlò ayélujára ti bẹ̀rẹ̀ ìkọkúkọ sórí àwòrán ààrẹ Nkurunziza nínú ìfẹ̀hónúhàn pẹ̀lú àmì ìdámọ̀: Nkurunziza àti Burundi: Ọmọ ilé ẹ̀kọ́ gíga ní ẹ̀wọ̀n fún kíkọ ìkọkúkọ sí orí àwòrán Ààrẹ . Bí mo bá ṣe èyí ní Burundi , ó ṣe é ṣe kí a fi mí sí àtìmọ́lé Ìjọba Burundi fi akẹ́kọ̀ọ́bìnrin sí àtìmọ́lé látàrí ẹ̀sùn ìkọkúkọ sí orí àwòrán ààrẹ. A túwíìtì àwòrán ìkọkúkọ wa ní ìbánikẹ́dùn ìṣẹ̀lẹ̀ náà. Wọ́n ní kí a dán an wò, kí a kọ nǹkan sí orí àwòrán ààrẹ mo sì ṣe bẹ́ẹ̀. Mo ní ìgbóyà wípé ẹnikẹ́ni kò ní mú mi níbí. Ìfòfinlíle mú àtakòy)len) yo_tokenizertexttokenss n/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/yo/test_text.py#test_yo_tokenizer_handles_long_textr s' %D $ F v;#  z text,match))ueníT)ogunT) mewadinlogunT)tenFc\||}t|dk(sJ|dj|k(sJy)Nr)rr)rrmatchr s r test_lex_attrs_like_numberrs8 $ F v;!   !9   && &r word)ejiejilar uaárùncTt|sJt|jsJy)N)rupper)rs r test_yo_lex_attrs_capitalsrs" D>> DJJL !! !r )pytestspacy.lang.yo.lex_attrsrr mark parametrizerrr r rs` ,L' ' !DE"F"r