Skip to main content

Multi-level text augmentation library for NLP tasks

Project description

nlp_augmentation_library

nlp_augmentation_library — это современная библиотека для аугментации текстовых данных на нескольких уровнях: символном, словесном, синтаксическом и генеративном. Она предназначена для повышения качества моделей обработки естественного языка (NLP) путем расширения объема и разнообразия обучающих данных.


Возможности

  • CharAugmentor — аугментация на уровне символов: удаление, вставка, замена, перестановка, изменение регистра.
  • WordAugmentor — аугментация на уровне слов: удаление, вставка, синонимы, контекстная замена, морфологические преобразования, аббревиатуры, преобразование чисел.
  • TextAugmentor — синтаксическая аугментация: перестановка предложений, удаление поддеревьев, парафраз, суммаризация, обратный перевод, crossover.
  • Generator — генеративные методы на базе предобученных моделей Hugging Face.

Установка

Рекомендуется использовать Python версии 3.7 и выше.

pip install nlp_augmentation_library

pip install git+https://github.com/PrithivirajDamodaran/Parrot_Paraphraser.git

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

nlp_augmentation-1.0.0.tar.gz (3.3 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

nlp_augmentation-1.0.0-py3-none-any.whl (2.3 kB view details)

Uploaded Python 3

File details

Details for the file nlp_augmentation-1.0.0.tar.gz.

File metadata

  • Download URL: nlp_augmentation-1.0.0.tar.gz
  • Upload date:
  • Size: 3.3 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/6.1.0 CPython/3.10.0

File hashes

Hashes for nlp_augmentation-1.0.0.tar.gz
Algorithm Hash digest
SHA256 877e0a21cea884d51a73c56b29d6da183d95f6c5477b5c23e35cbbbdf4f6dc8d
MD5 399f0192ea9771ce57b368e8aa5aad32
BLAKE2b-256 42317df27d98a22a820dbd47da97b4d5f5a4ae856b3a1b420f7b766be6774f5f

See more details on using hashes here.

File details

Details for the file nlp_augmentation-1.0.0-py3-none-any.whl.

File metadata

File hashes

Hashes for nlp_augmentation-1.0.0-py3-none-any.whl
Algorithm Hash digest
SHA256 246865ec82ddb48e3c6a09e2ad8d20c3e6bb42bd4e6d7c975ae09d3c449037be
MD5 de7b403f4fe944628f8371373ab3bbdb
BLAKE2b-256 622a3f6c837b4978d86ec031d1668ea274aa60a535b8b7f3b2636d865d1c7510

See more details on using hashes here.

Supported by

AWS Cloud computing and Security Sponsor Datadog Monitoring Depot Continuous Integration Fastly CDN Google Download Analytics Pingdom Monitoring Sentry Error logging StatusPage Status page