Skip to main content

Multi-level text augmentation library for NLP tasks

Project description

nlp_augmentation_library

nlp_augmentation_library — это современная библиотека для аугментации текстовых данных на нескольких уровнях: символном, словесном, синтаксическом и генеративном. Она предназначена для повышения качества моделей обработки естественного языка (NLP) путем расширения объема и разнообразия обучающих данных.


Возможности

  • CharAugmentor — аугментация на уровне символов: удаление, вставка, замена, перестановка, изменение регистра.
  • WordAugmentor — аугментация на уровне слов: удаление, вставка, синонимы, контекстная замена, морфологические преобразования, аббревиатуры, преобразование чисел.
  • TextAugmentor — синтаксическая аугментация: перестановка предложений, удаление поддеревьев, парафраз, суммаризация, обратный перевод, crossover.
  • Generator — генеративные методы на базе предобученных моделей Hugging Face.

Установка

Рекомендуется использовать Python версии 3.7 и выше.

pip install nlp_augmentation_library

pip install git+https://github.com/PrithivirajDamodaran/Parrot_Paraphraser.git

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

nlp_augmentation-0.1.3.tar.gz (3.4 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

nlp_augmentation-0.1.3-py3-none-any.whl (2.3 kB view details)

Uploaded Python 3

File details

Details for the file nlp_augmentation-0.1.3.tar.gz.

File metadata

  • Download URL: nlp_augmentation-0.1.3.tar.gz
  • Upload date:
  • Size: 3.4 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/6.1.0 CPython/3.10.0

File hashes

Hashes for nlp_augmentation-0.1.3.tar.gz
Algorithm Hash digest
SHA256 6ff1037d0ed17b078de31b1013178395f04f291822787b23dd93198990fb3ef9
MD5 fc03761e826eb98cee885e49f209e457
BLAKE2b-256 4b8df2f7e0688ade1d2466fc438cb90b21d4e57cb34ed377b51fefac52124052

See more details on using hashes here.

File details

Details for the file nlp_augmentation-0.1.3-py3-none-any.whl.

File metadata

File hashes

Hashes for nlp_augmentation-0.1.3-py3-none-any.whl
Algorithm Hash digest
SHA256 79f0cc13c14dd086b7be7019fb3f8c00c0bcc8c711aefa1a41e45a0b630464ad
MD5 674ed3285713e8d5e4ad1f305e68a0dc
BLAKE2b-256 553646a5b3f897ef8721b9dddd7c47cfa2e4454b08783bdf129ba820685557fd

See more details on using hashes here.

Supported by

AWS Cloud computing and Security Sponsor Datadog Monitoring Depot Continuous Integration Fastly CDN Google Download Analytics Pingdom Monitoring Sentry Error logging StatusPage Status page