fasr-vad-fsmn

英文文档地址: README_EN.md

FSMN 语音活动检测插件。离线 fsmn 模型通过 funasr_onnx 完成特征处理和 ONNX 推理；插件也提供 fsmn_online 用于流式 VAD。

安装

pip install fasr-vad-fsmn

注册模型

流水线使用

add_pipe() 中除 component、model、batch_size 等流水线参数外，其它 关键字参数会传给 detector 的模型。FSMN 参数可以直接写在 detector pipe 上：

from fasr import AudioPipeline

pipeline = (
    AudioPipeline()
    .add_pipe(
        "detector",
        model="fsmn",
        max_end_silence_time=600,
        speech_noise_thres=0.55,
        num_threads=4,
    )
    .add_pipe("recognizer", model="paraformer")
    .add_pipe("sentencizer", model="ct_transformer")
)

常见配置可以这样选：

Confection 配置

fasr 配置文件使用 Confection 的 TOML 风格，不是 YAML。

只配置 VAD 模型：

[vad_model]
@vad_models = "fsmn"
max_end_silence_time = 600
speech_noise_thres = 0.55
num_threads = 4

放在流水线里时，模型参数写在 pipeline.pipes.detector.component.model 下：

[pipeline]
@pipelines = "AudioPipeline.v1"
pipe_order = ["detector"]

[pipeline.pipes]

[pipeline.pipes.detector]
@pipes = "thread_pipe"
batch_size = 4
batch_timeout = 0.1

[pipeline.pipes.detector.component]
@components = "detector"
num_threads = 2
max_segment_duration = 30.0

[pipeline.pipes.detector.component.model]
@vad_models = "fsmn"
max_end_silence_time = 600
speech_noise_thres = 0.55
num_threads = 4

单独使用模型

模型实例化时会自动下载并加载权重。

from fasr.config import registry
from fasr.data import AudioSpan, Waveform

model = registry.vad_models.get("fsmn")(
    max_end_silence_time=600,
    speech_noise_thres=0.55,
)

audio = AudioSpan(waveform=Waveform.from_file("example.wav"), start_ms=0)
segments = model.detect(audio)
for segment in segments:
    print(f"{segment.start_ms}ms - {segment.end_ms}ms")

使用本地权重目录：

model.load_checkpoint("/path/to/fsmn-vad")

参数

离线 fsmn 只保留真正影响 funasr_onnx 推理的参数。checkpoint、 cache_dir、endpoint、revision、force_download 等通用参数由基类提供。

调参建议

fsmn_online 使用 device="cpu" / device="cuda" 选择设备，并额外提供 chunk_size_ms。chunk_size_ms 越小越实时，但调度开销更大；越大吞吐更稳， 但输出更晚。默认 100 ms 适合多数实时场景。

fsmn_online 还支持通过 apply_turn_detection(...) 做实时断句参数更新。 这个接口主要给 websocket 这类长连接会话使用；离线 fsmn 处理的是完整音频， 不需要这类运行时更新接口。

fsmn_online 的运行时调参重点如下：

prefix_padding_ms 在 wrapper 层实现：检测到说话开始时，会把输出片段的起点 按设定值向前回退，并在已有缓冲音频范围内做裁剪。

CPU / GPU

默认使用 CPU ONNX Runtime。加载模型时会打印当前使用 CPU 还是 GPU。

GPU 推理：

uv pip install onnxruntime-gpu

model = registry.vad_models.get("fsmn")(device_id=0)
stream_model = registry.vad_models.get("fsmn_online")(device="cuda")

依赖

• fasr
• funasr-onnx
• numpy >= 1.24
• onnxruntime >= 1.16, < 1.24
• Python 3.10-3.12