
    iF                     h    d dl Z dg dfdg dfgZe j                  j                  de      d        Zy)    Nu   Մետաղագիտությունը պայմանականորեն բաժանվում է տեսականի և կիրառականի (տեխնիկական))
u"   Մետաղագիտությունըu   պայմանականորենu   բաժանվում   էu   տեսականիu   ևu   կիրառականի(u   տեխնիկական)uy   Գետաբերանը գտնվում է Օմոլոնա գետի ձախ ափից 726 կմ հեռավորության վրա)u   Գետաբերանըu   գտնվումr   u   Օմոլոնաu   գետիu   ձախu   ափից726u   կմu   հեռավորությանu   վրաztext,expected_tokensc                 x     | |      }|D cg c]  }|j                   r|j                   }}||k(  sJ y c c}w )N)is_spacetext)hy_tokenizerr	   expected_tokenstokenstoken
token_lists         s/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/hy/test_tokenizer.py)test_ga_tokenizer_handles_exception_casesr   (   s=    $F*0G%**GJGj((( Hs   77)pytesthy_tokenize_text_testmarkparametrizer        r   <module>r      sY     	`	
  	D	
!  F /1FG) H)r   