
    iM                        d dl Z g dZddgZdgZddgZe j
                  j                  de      d	        Ze j
                  j                  d
e      d        Ze j
                  j                  d
e      d        Z	e j
                  j                  de      d        Z
d Ze j
                  j                  d      d        Zg dZe j
                  j                  de      d        Zy)    N)),   서울 타워 근처에 살고 있습니다.u0   서울 타워 근처 에 살 고 있 습니다 .)2   영등포구에 있는 맛집 좀 알려주세요.u7   영등포구 에 있 는 맛집 좀 알려 주 세요 .)u$   10$ 할인코드를 적용할까요?u)   10 $ 할인 코드 를 적용 할까요 ?)r   zNNP NNG NNG JKB VV EC VX EF SF)r   z"NNP JKB VV ETM NNG MAG VV VX EP SF)r   z(NNP JKB VV ETM NNG MAG VV+EC VX EP+EF SF)r   z&PROPN NOUN NOUN ADP VERB X AUX X PUNCT)r   z*PROPN ADP VERB X NOUN ADV VERB AUX X PUNCTztext,expected_tokensc                 v     | |      D cg c]  }|j                    }}||j                         k(  sJ y c c}w Ntextsplit)ko_tokenizerr   expected_tokenstokentokenss        s/var/www/vps2.regionflexible.com/Desarrollo/venv/lib/python3.12/site-packages/spacy/tests/lang/ko/test_tokenizer.pytest_ko_tokenizerr      s:    &24&89Uejj9F9_**,,,, :   6ztext,expected_tagsc                 v     | |      D cg c]  }|j                    }}||j                         k(  sJ y c c}w r   )tag_r	   )r
   r   expected_tagsr   tagss        r   test_ko_tokenizer_tagsr      s:    $0$675EJJ7D7=&&(((( 8r   c                 X     | |      j                   d   }||j                         k(  sJ y )N	full_tags)	user_datar	   )r
   r   r   r   s       r   test_ko_tokenizer_full_tagsr   #   s.    ''4D=&&((((    ztext,expected_posc                 v     | |      D cg c]  }|j                    }}||j                         k(  sJ y c c}w r   )pos_r	   )r
   r   expected_posr   poss        r   test_ko_tokenizer_posr   )   s:    #/#5
6%5::
6C
6,$$&&&& 7r   c                 4     | d      }t        |      dk(  sJ y )N r   )lenr
   r   s     r   test_ko_empty_docr$   /   s    "Fv;!r   i')  c                 <     | d      }|d   j                   dk(  sJ y )Nu   미닛 리피터   X)r   r#   s     r   test_ko_tokenizer_unknown_tagr(   4   s#    ,-F!9>>S   r   ))u   있다.u   있다 .)u   '예'는u   ' 예 ' 는)u   부 (富) 는   부 ( 富 ) 는)u   부(富)는r)   )z
1982~1983.z1982 ~ 1983 .)u6   사과·배·복숭아·수박은 모두 과일이다.u=   사과 · 배 · 복숭아 · 수박은 모두 과일이다 .)   그렇구나~r*   )u   『9시 반의 당구』,u   『 9시 반의 당구 』 ,c                 v     | |      D cg c]  }|j                    }}||j                         k(  sJ y c c}w r   r   )ko_tokenizer_tokenizerr   r   r   r   s        r   test_ko_spacy_tokenizerr-   H   s;    &<T&BCUejjCFC_**,,,, Dr   )pytestTOKENIZER_TESTS	TAG_TESTSFULL_TAG_TESTS	POS_TESTSmarkparametrizer   r   r   r   r$   issuer(   SPACY_TOKENIZER_TESTSr-    r   r   <module>r8      s0   j045	
? @8<=	 /A- B-
 -y9) :)
 -~>) ?)
 ,i8' 9'

 5! !	  /1FG- H-r   