
    i                        d dl Z ddj                         fddj                         fgZddj                         fdd	j                         fgZd
dj                         fgZddj                         fddj                         fddj                         fddj                         fddj                         fgZddj                         fddj                         fddj                         fddj                         fddj                         fgZddj                         fddj                         fddj                         fd d!j                         fd"d#j                         fgZd$d%j                         fgZeez   ez   ez   ez   ez   ez   Z	d&g d'fgZ
e j                  j                  d(e	      d)        Ze j                  j                  d*e
      d+        Zy),    Nu!   Бала-чака жакшыбы?u"   Бала-чака жакшыбы ?u%   Кыз-келиндер кийими.u&   Кыз-келиндер кийими .un   Пассажир саны - 2,13 млн — киши/күнүнө (2010), 783,9 млн. киши/жылына.uv   Пассажир саны - 2,13 млн — киши / күнүнө ( 2010 ) , 783,9 млн. киши / жылына .u   То"койu   То " койu   Эртең 22-январь...u    Эртең 22 - январь ...u*   Маселе б-ча эртең келетu$   Ахунбаев көч. турат.u%   Ахунбаев көч. турат .u'   «3-жылы (б.з.ч.) туулганu,   « 3 - жылы ( б.з.ч. ) туулганu5   Жүгөрү ж.б. дандар колдонулатu   3-4 кк. курулган.u   3 - 4 кк. курулган .u   М.Жумашu   М.жумашu   м.Жумашu   м . Жумашu   Жумаш М.Н.u   Жумаш.u   Жумаш .u   «3-жылда , туулганu"   « 3 - жылда , туулганu   «3-жылда,туулганu   «3-жылда,туулган.u$   « 3 - жылда , туулган .u   Ал иштейт(качан?)u"   Ал иштейт ( качан ? )u   Ал (качан?)иштейтu!   Ал ( качан ?) иштейтu  Алыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак: ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал. Мисалы, январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка (100 чакырымдан кем эмес) барып келгенге аракет кылдык.u  Алыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак : ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал . Мисалы , январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка ( 100 чакырымдан кем эмес ) барып келгенге аракет кылдык .u:   ит, мышык ж.б.у.с. үй жаныбарлары.)u   ит,u
   мышыкu+   жана башка ушул сыяктууu   үйu   жаныбарлары.ztext,expected_tokensc                 t     | |      D cg c]  }|j                   r|j                   }}||k(  sJ y c c}w N)is_spacetext)ky_tokenizerr   expected_tokenstokentokenss        s/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/ky/test_tokenizer.py#test_ky_tokenizer_handles_testcasesr   L   s8    &24&8OUejjOFOf$$$ Ps   55z
text,normsc                 \     | |      }|D cg c]  }|j                    c}|k(  sJ y c c}w r   )norm_)r	   r   normsr   r   s        r   )test_ky_tokenizer_handles_norm_exceptionsr   R   s,    $F%+,EEKK,555,s   ))pytestsplitINFIX_HYPHEN_TESTSPUNC_INSIDE_WORDS_TESTSMIXED_ORDINAL_NUMS_TESTSABBREV_TESTSNAME_ABBREV_TESTSTYPOS_IN_PUNC_TESTSLONG_TEXTS_TESTS	TESTCASESNORM_TESTCASESmarkparametrizer   r        r   <module>r"      sl    )*N*T*T*VW,.V.\.\.^_  	y	33857
 O))+,  =>`>f>f>hij  23_3e3e3gh+-T-Z-Z-\].0^0d0d0fg<>u>{>{>}~"$D$J$J$LM o++-.o++-.'--/0-3356N((*+  '(L(R(R(TU$&J&P&P&RS%'M'S'S'UV%'K'Q'Q'ST%'J'P'P'RS 	6
	7 8=uw     	
   
 	Ey /;% <%
 ~66 76r!   