sengiri 0.2.3

Yet another sentence-level tokenizer for the Japanese text

sengiri

Yet another sentence-level tokenizer for the Japanese text

DEPENDENCIES

• MeCab

• emoji

INSTALLATION

$ pip install sengiri

USAGE

import sengiri

print(sengiri.tokenize('うーん🤔🤔🤔どうしよう'))
#=>['うーん🤔🤔🤔', 'どうしよう']
print(sengiri.tokenize('モー娘。のコンサートに行った。'))
#=>['モー娘。のコンサートに行った。']
print(sengiri.tokenize('ありがとう＾＾ 助かります。'))
#=>['ありがとう＾＾', '助かります。']
print(sengiri.tokenize('顔文字テスト(*´ω｀*)うまくいくかな？'))
#=>['顔文字テスト(*´ω｀*)うまくいくかな？']
# I recommend using the NEologd dictionary.
print(sengiri.tokenize('顔文字テスト(*´ω｀*)うまくいくかな？', mecab_args='-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd'))
#=>['顔文字テスト(*´ω｀*)', 'うまくいくかな？']
print(sengiri.tokenize('子供が大変なことになった。'
                       '（後で聞いたのだが、脅されたらしい）'
                       '（脅迫はやめてほしいと言っているのに）'))
#=>['子供が大変なことになった。', '（後で聞いたのだが、脅されたらしい）', '（脅迫はやめてほしいと言っているのに）']
print(sengiri.tokenize('楽しかったw また遊ぼwww'))
#=>['楽しかったw', 'また遊ぼwww']
print(sengiri.tokenize('http://www.inpaku.go.jp/'))
#=>['http://www.inpaku.go.jp/']

CHANGES

0.2.3 (2025-11-28)

• Enhanced URL handling stability using MeCab’s partial parsing and regex

• Resolve problem about the dependency module (emoji)

• Support Python 3.9-3.14

• Drop supporting Python 3.4-3.8

0.2.2 (2019-10-15)

• In tokenize() method, emoji_threshold parameter is available

• Bugfix

0.2.1 (2019-10-12)

• Works well with also a text including emoticon and www (Laughing expression)

• Always treat emoji to delimiter regardless MeCab’s POS

0.1.1 (2019-10-05)

• First release