sengiri 0.1.1

Yet another sentence-level tokenizer for the Japanese text

sengiri

sengiri is yet another sentence-level tokenizer for the Japanese text

DEPENDENCY

MeCab

INSTALLATION

$ pip install sengiri

USAGE

import sengiri

print(sengiri.tokenize('これは！(すばらしい！)感動……。'))
#=>['これは！', '(すばらしい！)', '感動……。']
print(sengiri.tokenize('うーん🤔🤔🤔どうしよう'))
#=>['うーん🤔🤔🤔', 'どうしよう']
print(sengiri.tokenize('モー娘。のコンサートに行った。'))
#=>['モー娘。のコンサートに行った。']

CHANGES

0.1.1 (2019-10-05)

• First release