fasr-asr-firered

英文文档地址: README_EN.md

FireRedASR2 语音识别插件，提供 AED 解码和 LLM 解码。AED 可返回 token 时间戳，LLM 更偏向整段文本识别，不返回时间戳。

安装

pip install fasr-asr-firered

注册模型

流水线使用

from fasr import AudioPipeline

pipeline = (
    AudioPipeline()
    .add_pipe("detector", model="fsmn")
    .add_pipe(
        "recognizer",
        model="firered_aed",
        device="cuda",
        beam_size=3,
        return_timestamp=True,
    )
    .add_pipe("sentencizer", model="ct_transformer")
)

Confection 配置

[asr_model]
@asr_models = "firered_aed"
device = "cuda"
beam_size = 3
return_timestamp = true
use_half = true

放在流水线里：

[pipeline]
@pipelines = "AudioPipeline.v1"
pipe_order = ["recognizer"]

[pipeline.pipes]

[pipeline.pipes.recognizer]
@pipes = "thread_pipe"
batch_size = 2

[pipeline.pipes.recognizer.component]
@components = "recognizer"

[pipeline.pipes.recognizer.component.model]
@asr_models = "firered_aed"
device = "cuda"
beam_size = 3
return_timestamp = true

参数

公共参数

AED 参数

LLM 参数

输出

• AED 写入 span.raw_text。
• return_timestamp=True 时 AED 也填充 span.tokens。
• LLM 只写入 span.raw_text。

依赖

• fasr
• torch >= 2.0.0
• torchaudio
• transformers >= 4.36
• librosa >= 0.10.0
• kaldiio >= 2.18.0
• kaldi-native-fbank >= 1.19.0
• Python 3.10-3.12