asro-preprocessing 0.1.3

Library untuk preprocessing teks bahasa Indonesia.

Asro Preprocessing

Library untuk preprocessing teks bahasa Indonesia, mencakup:

• Case folding (mengubah teks menjadi huruf kecil).
• Pembersihan teks dari URL, tanda baca, angka, dan lainnya.
• Tokenisasi teks menjadi daftar kata.
• Penghapusan stopwords bawaan library.
• Normalisasi kata tidak baku ke kata baku dengan kamus bawaan.
• Penghapusan duplikat berdasarkan teks yang telah diproses.
• Deteksi sumber teks, membedakan apakah dari media atau individu, dengan menggunakan daftar nama media bawaan.

Instalasi

Instal library melalui PyPI dengan versi yang spesifik:

pip install asro_preprocessing==0.1.2