ru-text-cleaner 1.1.3

Prepare russian text for NLP

RU-TEXT-CLEANER

Библиотека подготовки русского текста для решения NLP- и иных задач

Установка: pip install ru-text-cleaner

Основным форматом использования билиотеки является:

from ru_text_cleaner import TextCleaner

text_cleaner = TextCleaner()

string = 'Какая-то неФорМатИроВаннАЯ строка'

formated_text = text_cleaner.clean_text(string)

В этом случае Вы получите следующий результат в переменной formated_text:

какаять неформатированный строка

Функция clean_text() принимает на вход строку и возвращает строку.

Во время инициатизации объекта класса TextCleaner() можно вручную указать, какое конкретно форматирование текста будет производиться:

spaces=True # убирает многократные пробелы в тексте
punctuation=True # убирает знаки пунктуации в строке
html=True # убирает HTML-теги
emoji=True # убирает эмодзи
lower=True # переводит текст в нижний регистр
stop_words=True # убирает стоп-слова (союзы, предлоги и так далее)
morpheme=True # преобразует слова в их начальные формы (автоматически переводит текст в нижний регистр)

По умолчанию все переменные установлены в значение True.

При этом можно отдельно испортировать функции to_lower_text, clean_emoji, clean_spaces, clean_html, clean_punctuation, clean_stopwords, text_to_morphems для выборочного форматирования текста. Но в этом случае корректность полученного результата не гарантируется.