BnPreprocessing 2.9

No project description provided

Bangla Preprocessor (BnPreprocessing)

This page gives a basic introduction to the package.

Installation:

pip install BnPreprocessing

In Python a Bangla Linga is typically written as:

Usage:

import BnPreprocessing as pp
s =  "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_punc(s)
print(s)
s = pp.remove_digits(s)
print(s)
s = pp.remove_nonBangla(s)
print(s)
s = pp.remove_emoticons(s)
print(s)
s = pp.remove_sw(s)
print(s)

Output:

আমরা কাজ করবো কিভাবে  😦😦   Document তৈরী করতে আমাদের সবাইকে কি করতে হবে  ৫ ৬ জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে  😦😦   Document তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে  😦😦    তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে      তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
করবো কিভাবে তৈরী সবাইকে কঠিন

If you want to do all the preprocessings in one step:

Altogether 😃

import BnPreprocessing as pp
s =  "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_noise(s)
print(s)

Output:

করবো কিভাবে তৈরী সবাইকে কঠিন

How to apply to Dataframe!!! 🤔

import BnPreprocessing as pp
#import your dataframe
df['Text'] = df['Text'].apply(pp.remove_noise) #use any of the functions above
#or
df['Text'] = df['Text'].apply(lambda x: pp.remove_noise(str(x)))

👉 Bonus Features 👈

English to Bangla Digit Conversion

import BnPreprocessing as pp
s = "2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন"
s = pp.numETB(s)
print(s)    

Output:

২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন

Bangla to English Digit Conversion

import BnPreprocessing as pp
s = "২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন"
s = pp.numBTE(s)
print(s)    

Output:

2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন