
    ib                     ^    d dl Z dg dfgZe j                  j                  de      d        Zy)    Nut   Hornjoserbšćina wobsteji resp. wobsteješe z wjacorych dialektow, kotrež so zdźěla chětro wot so rozeznawachu.)u   Hornjoserbšćinawobstejizresp.u   wobsteješez	wjacorych	dialektow,u   kotrežsou   zdźělau   chětrowotr   rozeznawachu.ztext,expected_tokensc                 x     | |      }|D cg c]  }|j                   r|j                   }}||k(  sJ y c c}w )N)is_spacetext)hsb_tokenizerr   expected_tokenstokenstoken
token_lists         t/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/hsb/test_tokenizer.pytest_hsb_tokenizer_basicr      s=    4 F*0G%**GJGj((( Hs   77)pytestHSB_BASIC_TOKENIZATION_TESTSmarkparametrizer        r   <module>r      sH     		
  2 /1MN) O)r   