i_ddlmZddlZgdZgdZgdZej jdgddZej jd eej jdd gd Z ej jd eej jdd gd Z ej jd eej jd dgej jdd gdZ ej jd eej jd dgej jdd gdZ ej jd eej jdd gdZ ej jd eej jdd gdZej jddgdZej jddgdZej jdeej jddgdZej jdeej jddgej jddgdZej jddgdZd Zej jdgd!d"Zej jdd#d$gd%Zy)&) punctuationN)([{*))]}r))rr)rr )rr )rrtext)rz((>U "" " !9>>T !! !rc|||z}t|dk(sJ|dj|k(sJ|dj|k(sJyrrrs r$test_ru_tokenizer_splits_close_punctrsP$, 'F v;!   !9>>T !! ! !9>>U "" "r punct_add`c|||z|z}t|dk(sJ|dj|k(sJ|dj|k(sJ|dj|k(sJyNrrrrrrr r rs r,test_ru_tokenizer_splits_two_diff_open_punctr&"sl%)+d2 3F v;!   !9>>U "" " !9>>Y && & !9>>T !! !r'c|||z|z}t|dk(sJ|dj|k(sJ|dj|k(sJ|dj|k(sJyr#rr%s r-test_ru_tokenizer_splits_two_diff_close_punctr)-sk$,2 3F v;!   !9>>T !! ! !9>>U "" " !9>>Y && &rc|||z|z|z}t|dk(sJ|dj|k(sJ|dj|k(sJy)Nrr$rrs r(test_ru_tokenizer_splits_same_open_punctr,8sZ%%-%/$6 7F v;!   !9>>U "" " !9>>T !! !rc|||z|z|z}t|dk(sJ|dj|k(sJ|dj|k(sJy)Nr+rrrrs r)test_ru_tokenizer_splits_same_close_punctr.AsZ$,.6 7F v;!   !9>>T !! ! !9>>U "" "ru 'Тестc\||}t|dk(sJ|djdk(sJy)Nrrr'rrs r)test_ru_tokenizer_splits_open_appostropher0Js4 $ F v;!   !9>>S  ru Тест''cd||}t|dk(sJ|d}t|dk(sJy)Nrz''rr)rr r tokens_puncts r)test_ru_tokenizer_splits_double_end_quoter3Qs; $ F v;!  %L |  !! !rzpunct_open,punct_closeuТестc|||z|z}t|dk(sJ|dj|k(sJ|dj|k(sJ|dj|k(sJyr#r)r punct_open punct_closer rs r)test_ru_tokenizer_splits_open_close_punctr7Ysl *t+k9 :F v;!   !9>>Z '' ' !9>>T !! ! !9>>[ (( (rzpunct_open2,punct_close2)r!r'c|||z|z|z|z}t|dk(sJ|dj|k(sJ|dj|k(sJ|dj|k(sJ|dj|k(sJ|dj|k(sJy)Nrrrr$r+r)rr5r6 punct_open2 punct_close2r rs r test_ru_tokenizer_two_diff_punctr<es + 2T9KG,V WF v;!   !9>>[ (( ( !9>>Z '' ' !9>>T !! ! !9>>[ (( ( !9>>\ )) )ru Тест.c<||}|djdk(sJy)Nr.)r rs r%test_ru_tokenizer_splits_trailing_dotr?ts" $ F !9>>S  rcXd}||}|t|dz jdk(sJy)Nu+(Раз, два, три, проверка).rr>rrs r'test_ru_tokenizer_splits_bracket_periodrAzs2 8D $ F #f+/ " ' '3 .. .r) uUрекоменду́я подда́ть жару́. Самого́ БаргамотаuUРЕКОМЕНДУ́Я ПОДДА́ТЬ ЖАРУ́. САМОГО́ БАРГАМОТАuTрекоменду̍я подда̍ть жару̍.Самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍.'Самого̍ БаргамотаuTрекоменду̍я подда̍ть жару̍,самого̍ БаргамотаuTрекоменду̍я подда̍ть жару̍:самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍. самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍, самого̍ БаргамотаuUрекоменду̍я подда̍ть жару̍: самого̍ БаргамотаuTрекоменду̍я подда̍ть жару̍-самого̍ Баргамотаch||}|djdvsJ|djtvsJy)Nr)u жару́u ЖАРУ́u жару̍r$)r rrs r*test_ru_tokenizer_handles_final_diacriticsrCs; $ F !9>>G GG G !9>>[ (( (ruTРЕКОМЕНДУ́Я ПОДДА́ТЬ ЖАРУ́.САМОГО́ БАРГАМОТАuTрекоменду̍я подда̍ть жару́.самого́ БаргамотаcX||}|djjdk(sJy)Nruжару́.самого́)r lowerrs r4test_ru_tokenizer_handles_final_diacritic_and_periodrFs.$ F !9>>   !%@ @@ @r)stringrpytest PUNCT_OPEN PUNCT_CLOSE PUNCT_PAIREDmark parametrizerrrr&r)r,r.r0r3r7r<r?rArCrFrrrOsu ! " ? !12$3$ *-.!12"3."+..!12#3/#*-se,.!12"3-."+.se,.!12'3-/'*-.!12"3."+..!12#3/#+/!0! ,0"1"1<@*.)/A)1<@3j\B*. */CA *+/!0! /   ))  ^^AAr