livekit-plugins-aliyun 1.2.3.post0

LiveKit Agent Plugins for Alibaba Cloud

livekit-plugins-aliyun

适配阿里云百炼的livekit-agent框架插件。目前支持TTS, LLM, STT。

安装

pip install livekit-plugins-aliyun

环境变量

• LLM, STT, TTS: DASHSCOPE_API_KEY

使用示例

以下代码展示了如何在livekit-agent中使用livekit-plugins-aliyun插件。

from livekit.agents import Agent, AgentSession, JobContext, cli, WorkerOptions
from livekit.plugins import aliyun
from dotenv import load_dotenv


async def entry_point(ctx: JobContext):
    
    await ctx.connect()
    
    agent = Agent(instructions="You are a helpful assistant.")

    session = AgentSession(
        stt=aliyun.STT(model="paraformer-realtime-v2"),
        tts=aliyun.TTS(model="cosyvoice-v2", voice="longcheng_v2"),
        llm=aliyun.LLM(model="qwen-plus"),
    )
    
    await session.start(agent=agent, room=ctx.room)
    
    await session.generate_reply()

if __name__ == "__main__":
    load_dotenv()
    cli.run_app(WorkerOptions(entrypoint_fnc=entry_point))

若需要使用STT热词功能，需要在STT插件中配置vocabulary_id参数。

    session = AgentSession(
        stt=aliyun.STT(model="paraformer-realtime-v2", vocabulary_id="your_vocabulary_id"),
        tts=aliyun.TTS(model="cosyvoice-v2", voice="longcheng_v2"),
        llm=aliyun.LLM(model="qwen-plus"),
    )