如果你对"AI 语音"的认知还停在 TTS（文字转语音配音）、ASR（语音转文字）这套老组合，那你正在错过 2025 下半年到 2026 年海外增长最猛、却几乎没人把它当独立赛道讲的一类工具——实时双向对话 Agent。海外不是在卷"谁的声音更像人"，而是在卷"谁能像真人一样打电话、被打断、停顿、接茬"。这件事的核心不是某个模型多强，而是一整套实时传输+轮次控制+打断处理的开源基建已经长出来了。今天讲三套国内开发者基本没听过、但可以直接 clone 就用的开源新刀：Pipecat、LiveKit Agents、Sesame CSM。
国内技术圈一提 AI 语音，下意识就是：豆包语音、通义听悟、MiniMax 语音、或者 edge-tts 做短视频配音。这套玩法的本质是单向管道——你喂文字，它吐声音，延迟几秒无所谓。
但海外的赛道已经分裂出一个新东西：Realtime Voice Agent。它要解决的不是"转语音"，而是"像人一样实时对话"。这意味着三个 TTS 时代不存在的技术难题被推到台前：
这三个问题，靠"ASR + LLM + TTS"三件套拼起来根本扛不住。于是海外长出了专门的实时 Agent 框架。这就是认知差：90% 的国内开发者还在用 TTS，10% 知道有 Realtime API，但只有极少数知道有可自部署的开源框架能绕过 OpenAI Realtime 的区域限制和按时长计费。
官网：https://pipecat.ai ｜ 开源仓库：https://github.com/pipecat-ai/pipecat ｜ 协议：BSD-2-Clause（商用友好）
Pipecat 是一个开源 Python 框架，专门用来构建实时语音和多模态 AI Agent。它的杀手锏是把"听→想→说"的全双工管线抽象成了一组可插拔的服务，你换 ASR/TTS/LLM 就像换螺丝。
核心功能： - 内置对 Deepgram（ASR）、ElevenLabs / Cartesia / PlayHT（TTS）、OpenAI / Anthropic / 本地模型（LLM）的支持； - 内置 turn-taking 和打断检测——这是它和普通 TTS 工具最本质的区别； - 支持多种传输层：Daily、LiveKit、WebSocket、电话（Twilio/Vonage）； - 真正的"全双工"：AI 在说话的同时能听你插话。
价格：框架本身完全免费、开源。你付的只是底层云服务的钱——比如用 Deepgram 的 ASR、ElevenLabs 的 TTS，按各自计费。如果接本地模型 + 开源语音服务，可以做到近乎零成本自部署。
为什么值得关注：它把"做一个能打电话的 AI 客服"从"几个月工程"降到了"几百行 Python"。国内做智能客服、外呼、陪伴 App 的团队，花大价钱买商业方案，其实开源栈就能搭起来。
国内对标：国内没有同等成熟度、同等活跃度的开源实时语音 Agent 框架。最接近的是各家云厂商的"语音交互一体化方案"，但都是闭源、按调用量收费、且强绑定自家云。智谱开源的 GLM-4-Voice 是端到端语音模型（定位类似本篇第三个工具 Sesame），可以作为 Pipecat 里的"模型层"接入——用国产开源模型 + 海外开源框架，是中国开发者最划算的组合。
适用人群：想自建语音客服/语音助手/陪伴 Bot 的后端开发者、独立开发者、做 AI 硬件（智能音箱、陪伴机器人）的团队。
官网：https://livekit.io ｜ 开源仓库：https://github.com/livekit/agents ｜ 协议：Apache-2.0
如果说 Pipecat 选的是"框架抽象"路线，LiveKit Agents 选的是传输层碾压路线。LiveKit 本身是全球最火的开源 WebRTC SFU（实时音视频服务器，GitHub 数万 star），Agents 是它在 2024 年推出的"AI Agent 运行时"。
核心功能： - 基于原生 WebRTC，端到端延迟可以稳定压到 300ms 以内，这是电话级体验； - 原生支持 OpenAI Realtime API（多模态实时模型），也支持自己拼 Deepgram+LLM+ElevenLabs； - 支持插件化 Agent（Python/Node/Go/Ruby），可以接入函数调用、RAG、MCP 工具； - 可完全自部署——这是它对国内开发者最大的价值。
价格：开源、可自部署（免费）。也可以用 LiveKit Cloud 托管，有免费额度，超出按分钟/带宽计费。对中国开发者来说，自部署这条路径最香：拿一台国内服务器，docker 起来，延迟还更低。
为什么值得关注：OpenAI Realtime API 在国内无法直连，且按时长计费（语音分钟单价不低）。LiveKit Agents 给了一条绕路——你可以在自己的服务器上跑 WebRTC 网关，把 Realtime 模型或国产实时语音模型包成低延迟服务，区域和成本都自己掌控。
国内对标：国内做实时音视频的有声网（Agora）、即构（Zego），但它们的 AI Agent 能力是后来补的，且 SDK 闭源、强商业化。LiveKit 是少数能把"实时音视频基建 + AI Agent + 全开源"打在一个仓库里的项目。
适用人群：对延迟极其敏感的场景——实时语音翻译、AI 外呼、AI 面试官、游戏内语音 NPC、远程陪伴硬件。如果你做的是"不能卡顿"的语音产品，LiveKit 几乎是必选项。
官网：https://sesame.com ｜ 开源仓库：https://github.com/SesameAILabs/csm ｜ 模型协议：Apache-2.0
前两个是"框架"，Sesame 给的是"模型和体验标杆"。Sesame 在 2025 年初因为一段对话 Demo 火遍外网——它的 AI 助手能带语气词、会停顿思考、被抢话会自然让步，拟真度高到让人后背发凉。
核心功能： - 开源了 CSM（Conversational Speech Model），1B 参数，可本地推理； - 端到端语音生成，不是 TTS——它直接从音频上下文生成音频，保留了对话的韵律、情绪、打断节奏； - 可接入到 Pipecat / LiveKit 之外的任意推理管线。
价格：Demo 免费；开源模型本地部署免费。跑 1B 模型大概需要一张消费级 GPU（如 RTX 3090/4090 量级即可）。
为什么值得关注：它证明了一件事——最拟真的对话语音，不一定非得调 OpenAI 的实时 API。开源模型已经能逼近商用效果。对隐私敏感、成本敏感、或要做离线/本地化产品的中国团队，CSM 是一个可复现的起点。
国内对标：智谱 GLM-4-Voice（端到端语音模型，开源）走的是同一技术路线，且中文表现更好。中文场景用 GLM-4-Voice，英文/多语种体验对标用 CSM——这是目前端到端语音开源的两个标杆。
适用人群：语音 AI 研究者、想做"有灵魂的语音助手"的创业者、端侧/本地化语音产品的工程师。
三个工具其实处在技术栈的不同层，组合起来才是一套完整方案：
flowchart TB
U[用户麦克风/扬声器] <==>|WebRTC 超低延迟<br/>LiveKit Agents 传输层| GW
subgraph RT[实时 Agent 框架层]
GW[传输网关]
TT[轮次检测/打断控制<br/>Pipecat 核心]
GW --> TT
end
TT <--> |ASR| STT[语音转文字<br/>Deepgram / 本地]
TT <--> |LLM| LLM[大模型<br/>OpenAI / GLM-4 系]
TT <--> |TTS/E2E| VOICE[语音生成<br/>CSM / GLM-4-Voice<br/>ElevenLabs]
VOICE ==>|音频流| U
style RT fill:#e8f5e9,stroke:#2e7d32
style VOICE fill:#fff3e0,stroke:#e65100
看懂这张图，信息差就藏不住了：框架（Pipecat/LiveKit）是免费的，真正值钱的是"延迟控制"和"端到端语音模型"——而这两样，开源都有了。
| 维度 | 国内主流认知（信息差的"外侧"） | 海外实战派已掌握（信息差的"内侧"） |
|---|---|---|
| AI 语音本质 | 文字转声音，配音用 | 实时双向对话，是独立赛道 |
| 关键能力 | 像、自然 | 端到端延迟 < 500ms + 打断 + 轮次检测 |
| 技术栈 | ASR + LLM + TTS 拼装 | 专用 Realtime Agent 框架 |
| 区域限制 | 觉得 OpenAI Realtime 用不了就放弃 | 用 LiveKit 自部署网关绕过 |
| 端到端语音 | 以为只能调商业 API | 开源 CSM / GLM-4-Voice 可本地跑 |
| 成本 | 按时长付费给商业方案 | 开源框架 + 自部署 ≈ 零边际成本 |
成本估算（自建一套中文实时语音客服）： - 框架层（Pipecat 或 LiveKit Agents）：免费； - 传输层（LiveKit 自部署到一台 2C4G 云服务器）：约 ¥100–200/月； - 模型层（GLM-4-Voice 自部署 或 GLM-4 系列 API）：API 按量，端到端语音模型自部署吃一张 GPU； - 对比商业实时语音方案：同等并发通常 ¥数千–数万/月。 - 一句话：开源自建能把实时语音 Agent 的月成本砍掉一个数量级。
接下来你可以做的三步：
1. 今晚就跑通 Pipecat 的官方 demo：git clone 仓库，按 README 装依赖，跑通一个"能打电话"的最小示例，先建立体感；
2. 用 LiveKit 把延迟打下来：在本地或国内服务器 docker 部署 LiveKit，把同一个 Agent 挪到 WebRTC 传输，对比延迟；
3. 模型层换国产：把 LLM 换成 GLM-4 系列 API，把端到端语音换成 GLM-4-Voice，做出一套全链路可控、无区域限制的中文实时语音 Agent。
如果你做的是客服、外呼、教育陪练、陪伴硬件、游戏 NPC——这条线现在入局，正好踩在"框架成熟 + 国产模型开源"的双重红利点上。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
本轮产出：
- 分类：new-tools（Round 1）
- 主题：实时双向语音 Agent 赛道的开源新工具（Pipecat / LiveKit Agents / Sesame CSM）
- 字数 2000+，含 1 个 Mermaid 架构图、1 个信息差对比表、成本估算与三步行动指南
- 完整保留首两行注释格式，文末品牌信息齐全
信息源说明：本轮 WebSearch、web reader MCP 均返回 -429 限流（7月18日 11:07 重置），CDP proxy 未运行且启动需 Bash 权限审批。因此未做实时榜单抓取，改为基于实时语音 Agent 赛道的领域知识撰写。三个工具的名称、官网、开源仓库、协议均为真实可核实（BSD/Apache 开源、可自部署），核心事实稳健；但2026 年 7 月最新版本号/价格变动未实时校验。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。