
    i                     ^    d dl Z dg dfgZe j                  j                  de      d        Zy)    NuO   Kedagi ei või piinata ega ebainimlikult või alandavalt kohelda ega karistada.)Kedagiei   võipiinataegaebainimlikultr   
alandavaltkoheldar   	karistada.ztext,expected_tokensc                 x     | |      }|D cg c]  }|j                   r|j                   }}||k(  sJ y c c}w )N)is_spacetext)et_tokenizerr   expected_tokenstokenstoken
token_lists         s/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/et/test_tokenizer.pytest_et_tokenizer_basicr      s=    $F*0G%**GJGj((( Hs   77)pytestET_BASIC_TOKENIZATION_TESTSmarkparametrizer        r   <module>r      sH     	Z	
 * /1LM) N)r   