做实时语音 AI,最麻烦的往往不是接模型,而是把整条链路跑顺。STT、LLM、TTS 一个个接,实时通信还得自己处理,接完很容易变成一堆胶水代码。

LiveKit Agents 就是专门解决这件事的:它把语音识别、模型推理、语音合成拆成可组合的模块,OpenAI、Deepgram、Cartesia 这些服务商可以自由搭配,不用被某一家绑死。
实时通话的部分也配好了:WebRTC、电话接入、任务调度、语义轮次检测都在里面。想让 Agent 调用工具,可以接 MCP;多个 Agent 之间需要交接,也有现成的支持。
整套东西开源、支持自托管,生产级的实时通信能力一并给了,不是只能跑 Demo 的玩具。Python 直接起步,官方文档和示例也比较完整。
想做电话客服、语音助手、实时多模态 Agent 的话,这个项目等于把最费事的基础设施先铺好了。
项目地址:
正文完