dnn-tts-torch 0.0.7

This is a library consisting of pre-trained models for the synthesis of Russian and English speech

DNN TTS Torch

Что это за проект?

Проект является удобным инструментом для синтеза русской и английской речи, использующий алгоритмы нейронных сетей.

Используемые датасеты

Для обучения модели синтеза русской речи был использован датасет, взятый с сайта Kaggle.

Для обучения модели синтеза английской речи был использован популярный для подобных задач датасет LJ Speech.

Оба датасета распространяются по открытой лицензии, что не ограничивает использование взятых мною данных ни для коммерческих ни для исследовательских целей. С условиями лицензии более подробно можно ознакомиться по ссылке.

Как работать с проектом?

Взаимодействие с модулями проекта осуществляется при помощи средств библиотеки argparse из корневой папки проекта. Доступны следующие команды:

• python dl_and_prepop_dataset -d ruspeech - для скачивания и подготовки выбранного датасета к последующей работе;

• python train-text2mel -d ruspeech - для обучения модуля text2mel, преобразующего текст в мел-спектрограммы;

• python train-ssrn -d ruspeech - для обучения модуля ssrn, преобразующего мел-спектрограммы в спектрограммы;

• python synthesize -d ruspeech -t text - для синтеза речи на выбранном языке (аргумент -t text опционален - он позволяет пропустить форму ввода текста пользователем в будущем и передать его как аргумент во время вызова команды).

Для каждой из команд, аргумент ruspeech - для русскоязычного датасета, ljspeech - для англоязычного датасета.

Инструкция

Пользователь может установить пакет dnn_tts_torch на любое устройство на базе операционных систем GNU/Linux или Windows с Python версии 3.12 на борту при помощи следующей команды:

pip install dnn_tts_torch

Также, пользователь может получить синтезированную речь на английском или русском языках на любом устройстве с помощью телеграм-бота. Работа с ним интуитивно понятна благодаря удобным аннотациям внутри самого бота.