Skip to main content

No project description provided

Project description

Bangla Preprocessor (BnPreprocessing)

This page gives a basic introduction to the package.

Installation:

pip install BnPreprocessing

In Python a Bangla Linga is typically written as:

Usage:

import BnPreprocessing as pp
s =  "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_punc(s)
print(s)
s = pp.remove_digits(s)
print(s)
s = pp.remove_nonBangla(s)
print(s)
s = pp.remove_emoticons(s)
print(s)
s = pp.remove_sw(s)
print(s)

Output:

আমরা কাজ করবো কিভাবে  😦😦   Document তৈরী করতে আমাদের সবাইকে কি করতে হবে  ৫ ৬ জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে  😦😦   Document তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে  😦😦    তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে      তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
করবো কিভাবে তৈরী সবাইকে কঠিন

If you want to do all the preprocessings in one step:

Altogether 😃

import BnPreprocessing as pp
s =  "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_noise(s)
print(s)

Output:

করবো কিভাবে তৈরী সবাইকে কঠিন

How to apply to Dataframe!!! 🤔

import BnPreprocessing as pp
#import your dataframe
df['Text'] = df['Text'].apply(pp.remove_noise) #use any of the functions above
#or
df['Text'] = df['Text'].apply(lambda x: pp.remove_noise(str(x)))

👉 Bonus Features 👈

English to Bangla Digit Conversion

import BnPreprocessing as pp
s = "2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন"
s = pp.numETB(s)
print(s)    

Output:

২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন

Bangla to English Digit Conversion

import BnPreprocessing as pp
s = "২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন"
s = pp.numBTE(s)
print(s)    

Output:

2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Files for BnPreprocessing, version 2.8
Filename, size File type Python version Upload date Hashes
Filename, size BnPreprocessing-2.8-py3-none-any.whl (6.5 kB) File type Wheel Python version py3 Upload date Hashes View

Supported by

Pingdom Pingdom Monitoring Google Google Object Storage and Download Analytics Sentry Sentry Error logging AWS AWS Cloud computing DataDog DataDog Monitoring Fastly Fastly CDN DigiCert DigiCert EV certificate StatusPage StatusPage Status page