Bangla Preprocessor (BnPreprocessing)
This page gives a basic introduction to the package.
Installation:
pip install BnPreprocessing
In Python a Bangla Linga is typically written as:
Usage:
import BnPreprocessing as pp
s = "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_punc(s)
print(s)
s = pp.remove_digits(s)
print(s)
s = pp.remove_nonBangla(s)
print(s)
s = pp.remove_emoticons(s)
print(s)
s = pp.remove_sw(s)
print(s)
Output:
আমরা কাজ করবো কিভাবে 😦😦 Document তৈরী করতে আমাদের সবাইকে কি করতে হবে ৫ ৬ জন আমরা কঠিন হবে
আমরা কাজ করবো কিভাবে 😦😦 Document তৈরী করতে আমাদের সবাইকে কি করতে হবে জন আমরা কঠিন হবে
আমরা কাজ করবো কিভাবে 😦😦 তৈরী করতে আমাদের সবাইকে কি করতে হবে জন আমরা কঠিন হবে
আমরা কাজ করবো কিভাবে তৈরী করতে আমাদের সবাইকে কি করতে হবে জন আমরা কঠিন হবে
করবো কিভাবে তৈরী সবাইকে কঠিন
If you want to do all the preprocessings in one step:
Altogether 😃
import BnPreprocessing as pp
s = "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_noise(s)
print(s)
Output:
করবো কিভাবে তৈরী সবাইকে কঠিন
How to apply to Dataframe!!! 🤔
import BnPreprocessing as pp
#import your dataframe
df['Text'] = df['Text'].apply(pp.remove_noise) #use any of the functions above
#or
df['Text'] = df['Text'].apply(lambda x: pp.remove_noise(str(x)))
👉 Bonus Features 👈
English to Bangla Digit Conversion
import BnPreprocessing as pp
s = "2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন"
s = pp.numETB(s)
print(s)
Output:
২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন
Bangla to English Digit Conversion
import BnPreprocessing as pp
s = "২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন"
s = pp.numBTE(s)
print(s)
Output:
2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন
2 maintainers
Metadata
2 maintainers
Release files for BnPreprocessing 2.9
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Reset |
|---|---|---|---|---|
| BnPreprocessing-2.9-py3-none-any.whl | Python 3 | none | any | Details |
Release files / BnPreprocessing-2.9-py3-none-any.whl
| Download URL | BnPreprocessing-2.9-py3-none-any.whl |
|---|---|
| Size | 6.7 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
dbee10f9857b9dbcdfb6cbf4fd94c81dd03d1f16b3679d0f9a0e7894bae514d0
|
|
BLAKE2b-256 checksum How to use checksums |
56f8a3b9f32d06ebb2679f20591de92bfb6480d9f963debeeec587cd5867d763
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/3.4.2 importlib_metadata/4.7.1 pkginfo/1.4.2 requests/2.26.0 requests-toolbelt/0.9.1 tqdm/4.61.1 CPython/3.6.5
|
