Normalizer for persian texts base on hazm
Project description
IBITNormalizer
Simple persian text-normalizer base on hazm lib
install
pip install IBITNormalizer -- upgrade
import
from IBITNormalizer.normalizer import IBITNormalizer
for lm task
text = """
سلام خوبی
از بیرون چخبر
چیکارا میکنی
تازگیا هوا چقدر سرد شده نه ؟
"""
normalizer = IBITNormalizer.forLM()
print("forLM -> ", normalizer.normalize(text))
output:
forLM -> سلام خوبی
از چخبر
چیکارا می‌کنی
تازگیا هوا سرد نه؟
for llm task
text = """
سلام خوبی
از بیرون چخبر
چیکارا میکنی
تازگیا هوا چقدر سرد شده نه ؟
"""
normalizer = IBITNormalizer.forLLM()
print("forLLM -> ", normalizer.normalize(text))
output:
forLLM -> سلام خوبی
از بیرون چخبر
چیکارا می‌کنی
تازگیا هوا چقدر سرد‌شده‌نه؟
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distributions
No source distribution files available for this release.See tutorial on generating distribution archives.
Built Distribution
Close
Hashes for IBITNormalizer-1.1.6-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | e9357049e69cad8295236ab469cc6452b61a6974a528bd9a0d0a5181c013ae47 |
|
MD5 | 13ee5862733c18752834d06cc17237e5 |
|
BLAKE2b-256 | dc891f56234706cda7bcda69b20864d1dc5c8e9ab135330f2b8c1faad955ae94 |