agents
用于构建实时语音 AI Agent 的框架 🤖🎙️📹
仍在活跃开发:最近 90 天有 524 次提交,最近一次提交在 2026-09-30。
GitHub 星数
1.4 万
近 30 天涨星
+1,364
近 90 天提交
524
近 6 个月发版
10
LiveKit Agents 是一个开源框架,用于构建可参与人类对话的实时、可编程语音 AI Agent。该框架集成了语音转文本(STT)、大语言模型(LLM)和文本转语音(TTS)能力,使开发者能够创建具备视觉、听觉和理解能力的多模态 Agent。它基于 LiveKit 的 WebRTC 基础设施构建,提供完整的生态系统,用于开发在服务器上运行并能处理实时交互的对话式 AI 应用。该框架包含多项高级功能,例如使用 transformer 模型进行语义轮次检测以减少打断、通过调度 API 实现内置作业调度与分发,以及原生支持 Model Context Protocol(MCP)以集成工具。它在 GitHub 上拥有超过 9,800 个星标,提供用于电话交互的电话系统集成、覆盖主流平台的广泛客户端 SDK 支持,以及通过 RPC 和 Data API 进行数据交换的能力。该框架内置了带有评判器的测试系统,以确保 Agent 性能符合预期。由于完全开源,组织可以将整个技术栈部署在自己的基础设施上,在利用使用最广泛的 WebRTC 媒体服务器之一的同时,保持对自身语音 AI 实现的控制。
和同类工具的区别
领先的实时语音 AI Agent 开源框架,具备 WebRTC 基础设施、语义轮次检测、多 Agent 交接和原生电话功能——而其他方案是在以文本为先的框架上附加语音功能
主要能力
- 用于构建实时语音 AI Agent 的框架
- 灵活集成 STT/LLM/TTS/Realtime API
- 携带对话上下文的多 Agent 交接
- 通过语义轮次检测减少打断
- 原生支持 MCP(Model Context Protocol)
- 通过 LiveKit SIP 集成电话系统
- 内置使用 LLM 评判器的自动化测试框架
- 基于 WebRTC 的实时通信
适合
- 构建生产环境中的语音 AI Agent 和助手
- 集成电话系统的实时对话式 AI
- 包含交接的多 Agent 语音工作流
不太适合
- 纯文本聊天机器人应用
- 简单的单轮语音命令系统
局限
- 主要针对语音优化——纯文本 Agent 处于次要地位
- 需要 LiveKit 服务器基础设施(自托管或云端)
- 实时语音质量取决于 STT/TTS 提供商的延迟
- 测试框架需要基于 LLM 的评判器(产生额外 API 费用)
agents 的替代品
- Pipecat:用于语音和多模态对话式 AI 的开源框架(1.6 万星)
- AgentScope:构建和运行你能看见、理解并信任的 Agent。(3.3 万星)
- RealChar(6,212星)
- voltagent:基于开源 TypeScript AI Agent 框架构建的 AI Agent 工程平台(1.1 万星)
- Cheshire Cat AI(3,094星)
- Multi-Modal LangChain agents in Production(479星)
常见问题
- agents 是做什么的?
- LiveKit Agents 是一个开源框架,用于构建可参与人类对话的实时、可编程语音 AI Agent。该框架集成了语音转文本(STT)、大语言模型(LLM)和文本转语音(TTS)能力,使开发者能够创建具备视觉、听觉和理解能力的多模态 Agent。它基于 LiveKit 的 WebRTC 基础设施构建,提供完整的生态系统,用于开发在服务器上运行并能处理实时交互的对话式 AI 应用。该框架包含多项高级功能,例如使用 transformer 模型进行语义轮次检测以减少打断、通过调度 API 实现内置作业调度与分发,以及原生支持 Model Context Protocol(MCP)以集成工具。它在 GitHub 上拥有超过 9,800 个星标,提供用于电话交互的电话系统集成、覆盖主流平台的广泛客户端 SDK 支持,以及通过 RPC 和 Data API 进行数据交换的能力。该框架内置了带有评判器的测试系统,以确保 Agent 性能符合预期。由于完全开源,组织可以将整个技术栈部署在自己的基础设施上,在利用使用最广泛的 WebRTC 媒体服务器之一的同时,保持对自身语音 AI 实现的控制。
- agents 还在维护吗?
- 仍在活跃开发:最近 90 天有 524 次提交,最近一次提交在 2026-09-30。
- agents 有哪些替代品?
- 和 agents 最接近的开源替代品有 Pipecat、AgentScope、RealChar、voltagent、Cheshire Cat AI、Multi-Modal LangChain agents in Production。
- agents 是开源的吗?
- 是的,agents 是开源项目,代码托管在 GitHub 上。
星数、提交和发版数据来自 GitHub API,每天自动刷新。介绍文字由 AI 从英文翻译,并经过第二个模型的回译校对。 项目地址:github.com/livekit/agents