tamil-utils 0.1.0

Tiny Tamil text utilities: normalize, tokenize, stopword removal, graphemes

tamil-utils

Tiny Tamil text utilities: normalize, tokens, remove_stopwords, graphemes.

from tamil_utils import normalize, tokens, remove_stopwords, graphemes

s = "இது ஒரு சோதனை 👋🏽"
print(tokens(s))                              # ['இது', 'ஒரு', 'சோதனை']
print(remove_stopwords(tokens(s), preset="ta"))  # ['சோதனை']
print(graphemes("👩🏽‍💻"))                       # ['👩🏽‍💻']
                      # ['👩🏽‍💻']

Installation

pip install tamil-utils

Windows CLI (module form)

python -m tamil_utils.cli tokens "இது ஒரு சோதனை"

Sentence split

python -m tamil_utils.cli sents "இது ஒரு வாக்கியம். இது இரண்டாம்? சரி!"

Numerals

python -m tamil_utils.cli to-arabic "௨௦௨௫"   # -> 2025
python -m tamil_utils.cli to-tamil "123"     # -> ௧௨௩

Tokens with stopwords removed (preset)

python -m tamil_utils.cli tokens --rmstop "இது ஒரு சோதனை"

Status