
    i                     ^    d dl Z dg dfgZe j                  j                  de      d        Zy)    NuP   Ale eksistěrujo mimo togo ceła kopica narěcow, ako na pśikład slěpjańska.)Aleu   eksistěrujomimotogou   cełakopicau   narěcow,akonau	   pśikładu   slěpjańska.ztext,expected_tokensc                 x     | |      }|D cg c]  }|j                   r|j                   }}||k(  sJ y c c}w )N)is_spacetext)dsb_tokenizerr   expected_tokenstokenstoken
token_lists         t/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/dsb/test_tokenizer.pytest_dsb_tokenizer_basicr      s=    4 F*0G%**GJGj((( Hs   77)pytestDSB_BASIC_TOKENIZATION_TESTSmarkparametrizer        r   <module>r      sH     	[	
  , /1MN) O)r   