Normalizer for persian texts base on hazm
Project description
IBITNormalizer
Simple persian text-normalizer base on hazm lib
install
pip install IBITNormalizer --upgrade
import
from IBITNormalizer.normalizer import IBITNormalizer
for lm task
text = """
سلام خوبی
از بیرون چخبر
چیکارا میکنی
تازگیا هوا چقدر سرد شده نه ؟
"""
normalizer = IBITNormalizer.forLM()
print("forLM -> ", normalizer.normalize(text))
output:
forLM -> سلام خوبی
از چخبر
چیکارا می‌کنی
تازگیا هوا سرد نه؟
for llm task
text = """
سلام خوبی
از بیرون چخبر
چیکارا میکنی
تازگیا هوا چقدر سرد شده نه ؟
"""
normalizer = IBITNormalizer.forLLM()
print("forLLM -> ", normalizer.normalize(text))
output:
forLLM -> سلام خوبی
از بیرون چخبر
چیکارا می‌کنی
تازگیا هوا چقدر سرد‌شده‌نه؟
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
IBITNormalizer-1.2.3.tar.gz
(1.7 kB
view hashes)
Built Distribution
Close
Hashes for IBITNormalizer-1.2.3-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 3c6f82ade6165280379d9a9cc3fa3e12e9a7a2ca8d67e56b448fd4927674a3f4 |
|
MD5 | d7185cf6df2c266cf4bfd3599bafcdce |
|
BLAKE2b-256 | 4e2cd35ff2c0a23b4c6a83c25aac8b415ac4b329237ae567f836a4137dd3c115 |