Automatic speech recognition toolkit on Pytorch
Project description
MASR流式与非流式语音识别项目
MASR是一款基于Pytorch实现的自动语音识别框架,MASR全称是神奇的自动语音识别框架(Magical Automatic Speech Recognition),当前为V2版本,如果想使用V1版本,请在这个分支r1.x。MASR致力于简单,实用的语音识别项目。可部署在服务器,Nvidia Jetson设备,未来还计划支持Android等移动设备。
欢迎大家扫码入知识星球或者QQ群讨论,知识星球里面提供项目的模型文件和博主其他相关项目的模型文件,也包括其他一些资源。
本项目使用的环境:
- Anaconda 3
- Python 3.8
- Pytorch 1.13.1
- Windows 10 or Ubuntu 18.04
项目快速了解
- 本项目支持流式识别模型
deepspeech2
、conformer
、squeezeformer
,efficient_conformer
,每个模型都支持流式识别和非流式识别,在配置文件中streaming
参数设置。 - 本项目支持两种解码器,分别是集束搜索解码器
ctc_beam_search
和贪心解码器ctc_greedy
,集束搜索解码器ctc_beam_search
准确率更高。 - 下面提供了一系列预训练模型的下载,下载预训练模型之后,需要把全部文件复制到项目根目录,并执行导出模型才可以使用语音识别。
更新记录
- 2023.01.28: 调整配置文件结构,支持efficient_conformer模型。
- 2022.11: 正式发布最终级的V2版本。
视频讲解
这个是PPSAR的视频教程,项目是通用的,可以参考使用。
在线使用
- 在线使用Dome
快速使用
这里介绍如何使用MASR快速进行语音识别,前提是要安装MASR,文档请看快速安装。执行过程不需要手动下载模型,全部自动完成。
- 短语音识别
from masr.predict import MASRPredictor
predictor = MASRPredictor(model_tag='conformer_streaming_fbank_aishell')
wav_path = 'dataset/test.wav'
result = predictor.predict(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {int(score)}")
- 长语音识别
from masr.predict import MASRPredictor
predictor = MASRPredictor(model_tag='conformer_streaming_fbank_aishell')
wav_path = 'dataset/test_long.wav'
result = predictor.predict_long(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {score}")
- 模拟流式识别
import time
import wave
from masr.predict import MASRPredictor
predictor = MASRPredictor(model_tag='conformer_streaming_fbank_aishell')
# 识别间隔时间
interval_time = 0.5
CHUNK = int(16000 * interval_time)
# 读取数据
wav_path = 'dataset/test.wav'
wf = wave.open(wav_path, 'rb')
data = wf.readframes(CHUNK)
# 播放
while data != b'':
start = time.time()
d = wf.readframes(CHUNK)
result = predictor.predict_stream(audio_data=data, use_pun=False, is_end=d == b'')
data = d
if result is None: continue
score, text = result['score'], result['text']
print(f"【实时结果】:消耗时间:{int((time.time() - start) * 1000)}ms, 识别结果: {text}, 得分: {int(score)}")
# 重置流式识别
predictor.reset_stream()
模型下载
- WenetSpeech (10000小时) 的预训练模型列表:
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
---|---|---|---|---|---|
conformer | True | fbank | 普通话 |
- WenetSpeech (10000小时)+中文语音数据集 (3000+小时) 的预训练模型列表:
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
---|---|---|---|---|---|
conformere | True | fbank | 普通话 | 0.03179(aishell_test) 0.16722(test_net) 0.20317(test_meeting) |
加入知识星球获取 |
- AIShell (179小时) 的预训练模型列表:
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
---|---|---|---|---|---|
squeezeformer | True | fbank | 普通话 | 0.04137 | 加入知识星球获取 |
conformer | True | fbank | 普通话 | 0.04491 | 加入知识星球获取 |
efficient_conformer | True | fbank | 普通话 | 0.04073 | 加入知识星球获取 |
deepspeech2 | True | fbank | 普通话 | 0.06907 | 加入知识星球获取 |
- Librispeech (960小时) 的预训练模型列表:
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集词错率 | 下载地址 |
---|---|---|---|---|---|
squeezeformer | True | fbank | 英文 | 0.09715 | 加入知识星球获取 |
conformer | True | fbank | 英文 | 0.09265 | 加入知识星球获取 |
efficient_conformer | True | fbank | 英文 | 加入知识星球获取 | |
deepspeech2 | True | fbank | 英文 | 0.19423 | 加入知识星球获取 |
说明:
- 这里字错率或者词错率是使用
eval.py
程序并使用集束搜索解码ctc_beam_search
方法计算得到的。 - 没有提供预测模型,需要把全部文件复制到项目的根目录下,执行
export_model.py
导出预测模型。 - 由于算力不足,这里只提供了流式模型,但全部模型都支持流式和非流式的,在配置文件中
streaming
参数设置。
有问题欢迎提 issue 交流
文档教程
相关项目
- 基于Pytorch实现的声纹识别:VoiceprintRecognition-Pytorch
- 基于Pytorch实现的分类:AudioClassification-Pytorch
- 基于PaddlePaddle实现的语音识别:PPASR
打赏作者
打赏一块钱支持一下作者
参考资料
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distributions
No source distribution files available for this release.See tutorial on generating distribution archives.
Built Distribution
masr-2.3.7-py3-none-any.whl
(1.6 MB
view hashes)