Skip to main content

No project description provided

Project description

Bangla Preprocessor (BnPreprocessing)

This page gives a basic introduction to the package.

Installation:

pip install BnPreprocessing

In Python a Bangla Linga is typically written as:

Usage:

import BnPreprocessing as pp
s =  "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_punc(s)
print(s)
s = pp.remove_digits(s)
print(s)
s = pp.remove_nonBangla(s)
print(s)
s = pp.remove_emoticons(s)
print(s)
s = pp.remove_sw(s)
print(s)

Output:

আমরা কাজ করবো কিভাবে  😦😦   Document তৈরী করতে আমাদের সবাইকে কি করতে হবে  ৫ ৬ জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে  😦😦   Document তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে  😦😦    তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
আমরা কাজ করবো কিভাবে      তৈরী করতে আমাদের সবাইকে কি করতে হবে    জন আমরা  কঠিন হবে   
করবো কিভাবে তৈরী সবাইকে কঠিন

If you want to do all the preprocessings in one step:

Altogether 😃

import BnPreprocessing as pp
s =  "আমরা কাজ করবো কিভাবে!!😦😦 । Document তৈরী করতে আমাদের সবাইকে কি করতে হবে? ৫-৬ জন আমরা, কঠিন হবে :("
s = pp.remove_noise(s)
print(s)

Output:

করবো কিভাবে তৈরী সবাইকে কঠিন

How to apply to Dataframe!!! 🤔

import BnPreprocessing as pp
#import your dataframe
df['Text'] = df['Text'].apply(pp.remove_noise) #use any of the functions above
#or
df['TEXT'].apply(lambda x: pp.remove_noise(str(x)))

👉 Bonus Features 👈

English to Bangla Digit Conversion

import BnPreprocessing as pp
s = "2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন"
s = pp.numBTE(s)
print(s)    

Output:

২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন

Bangla to English Digit Conversion

import BnPreprocessing as pp
s = "২০১৮ এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় ১৬১.৪ মিলিয়ন"
s = pp.numBTE(s)
print(s)    

Output:

2018 এর পরিসংখ্যান অনুযায়ী বাংলাদেশের জনসংখ্যা প্রায় 161.4 মিলিয়ন

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distributions

No source distribution files available for this release.See tutorial on generating distribution archives.

Built Distribution

BnPreprocessing-2.6-py3-none-any.whl (6.5 kB view hashes)

Uploaded Python 3

Supported by

AWS AWS Cloud computing and Security Sponsor Datadog Datadog Monitoring Fastly Fastly CDN Google Google Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Sentry Sentry Error logging StatusPage StatusPage Status page