首页 › tech › AI重写语音网:3kbps开战

打电话这件事,运营商做了四十年,把码率从64kbps一路压到13.2kbps,感觉已经榨干了。但2021年之后,故事突然换了剧本:Google和Meta的研究团队用神经网络把通话码率砍到3kbps量级,听感反而超过码率高四倍的传统编码。这不是论文里的玩具——Meta已在自己产品的实时通话里规模部署自研神经编码器。语音网这层“最古老的底座”,正在被AI从最底层重写。本文回答三个问题:AI编码到底比EVS强在哪、它凭什么能省三倍资源、运营商现在该不该动换血的念头。

目录

一、从64kbps到13.2kbps:四十年压缩史

先摆账本。语音编码每换一代,运营商的无线和传输资源就翻着倍地省。这条主线贯穿整个移动网演进史:

编码器 标准化时间 码率 音频带宽 备注
G.711 ITU-T,1972 64 kbps 窄带(300–3400Hz) PCM,TDM时代的地基
G.729 ITU-T,1995 8 kbps 窄带 CS-ACELP,早期VoIP主力
AMR-NB 3GPP,1999 4.75–12.2 kbps 窄带 2G/3G语音基石
AMR-WB(G.722.2) ITU-T 2002 / 3GPP R5 6.6–23.85 kbps 宽带(50–7000Hz) HD Voice的来源
Opus IETF RFC 6716,2012 6–510 kbps 全带 互联网实时语音标配
EVS 3GPP R12,2014 5.9–128 kbps 最高全带 VoLTE/VoNR主力,常用13.2kbps超宽带档

做过核心网的人都记得G.711意味着什么:一条E1只有32个时隙,跑30路64k话音,端局转码器(TC)池要按话务模型精打细算。后来引入TFO/TrFO做免转码操作,本质就是为了少过一道64k的转码,省一块板子是一块板子。3G时代AMR把码率压到12.2k,4G的VoLTE用AMR-WB 12.65k带来了所谓“高清语音”,2014年冻结的EVS(TS 26.441系列)把主流档抬到13.2kbps超宽带,高频延展到14kHz,同时靠信道感知模式对抗弱覆盖下的丢包——EVS确实是传统编码技术的巅峰。

但巅峰之后是十年的平台期。从2014到今天,3GPP语音编码再无换代。原因不复杂:传统编码遵循“分析-合成”范式,用CELP类算法对波形参数化建模,物理极限越来越近——码率再往下压,合成语音就出现金属声、水声,MOS断崖式下跌。13.2kbps成了移动话音事实上的地板。

地板之下,才是AI的入场口。

二、换思路:不压波形,重新生成波形

传统编码回答的问题是“怎么用更少的比特描述这段波形”。神经编码器换了一个问题:“怎么用更少的比特,让另一台机器重新生成一段听上去一样的波形。”前者是压缩,后者接近“描述+创作”:编码端把语音降维成一组隐层特征,量化成一串紧凑的码流;解码端用一个生成式声码器,从这些特征把波形“画”回来。

flowchart TD
    A["麦克风输入 16kHz PCM"] --> B["卷积编码器 逐层降采样"]
    B --> C["隐层特征序列"]
    C --> D["残差向量量化 RVQ"]
    D --> E["码流 约3至6kbps"]
    E --> F["RTP打包 20ms一帧"]
    F --> G["IP承载网"]
    G --> H["接收端去抖动缓冲"]
    H --> I["反量化 还原特征"]
    I --> J["生成式解码器 声码器"]
    J --> K["重建波形 扬声器输出"]

两个关键部件决定了成败:

残差向量量化(RVQ)。直接用一个巨型码本描述语音,码本会大到不可用。RVQ的思路是多级级联:第一级码本粗略逼近,把残差交给第二级继续逼近,层层叠加,每层只贡献一小档码率。Google的SoundStream论文(arXiv:2107.03312,2021年)就是这个架构的代表作:全卷积编解码器加RVQ,训练时引入判别器让生成听感自然,支持语音和音乐,24kHz采样。

生成式解码器。从量化特征重建波形,靠的是在大规模语音上训练出来的声码器(Lyra初版用WaveGRU类结构,后续普遍转向GAN系)。正因为解码端“见过”海量真人语音,它能用3kbps的特征补出符合统计规律的细节——传统CELP补不出来的高频、气息、齿音,它是“脑补”出来的,而且脑补得像。

效果有多直观?SoundStream论文的听测结论是:3kbps的SoundStream,主观质量优于12kbps的Opus——四倍的码率差距。注意这是论文作者自己的听测口径,不是第三方测评,但量级差距大到很难全靠测试误差解释。对排障工程师而言还有个好消息:神经编码天然擅长丢包隐藏(PLC),Lyra的官方博客就明确把丢包补偿列为设计目标——在弱覆盖场景,这比省码率更救命。

三、三大门派:Lyra、SoundStream、EnCodec

2021年起的三篇标志性工作,基本框定了技术路线,此后各家的神经编码器都是这三个思路的组合变体:

方案 机构/时间 码率 质量口径(来源自述) 复杂度与状态
Lyra Google,2021 3 kbps 官方听测优于码率更高的Opus与EVS 单核CPU实时运行;官方博客发布
SoundStream Google,2021 3–18 kbps多档 论文听测:3kbps优于Opus 12kbps 论文称单核实时;RVQ架构奠基之作
EnCodec Meta,2022 1.5–24 kbps多档 24kHz单声道/48kHz立体声,多档位高保真压缩(论文听测) 成为Meta音频生成体系的底座

三点值得展开:

第一,3kbps已不是实验室独奏。 Lyra发布时的定位就是“面向实时通话的实用编解码器”,给出单核实时的工程指标。SoundStream的RVQ架构后来被广泛复用,包括EnCodec——说明这条路线已经收敛成行业共识,而不是某家的孤本。

第二,Meta走完了“部署”这最险的一步。 2023年Meta通过工程博客发布了自研低码率语音编码器MLow,并明确其面向实时通信场景、已在Messenger通话中现网部署,博客口径是同码率下听感优于Opus且CPU开销更低。对运营商的启示很刺眼:OTT又一次跑在了电信标准前面——App自己说了算,终端就是App,不需要全网协商,不需要漫游对齐,先在自己十亿级用户闭环里把AI编码跑熟了。

第三,论文数据要会读。 上表所有MOS结论均出自Google/Meta自己组织的听测,测试集以英语等语种为主,中文、方言、噪声环境的表现在原文中覆盖有限。工程上看待这些数字,应记住“论文口径”四个字——这和设备商标称吞吐量一个道理,实测才作数。

四、标准化的账本:AI编码进网有多远

再看电信侧。要在3GPP体系里换语音编码,过的不是技术关,是产业链关。EVS当年从2010年立项到2014年冻结,再到今天终端渗透率爬坡,前后十几年——这已经是标准语音编码商用的正常速度。AI编码要复制这条路,绕不开四道坎,以下主要是作者基于工程经验的判断:

时延账。 神经编码器的算法时延普遍在几十毫秒量级(帧长加前视加解码缓冲),叠加现网20ms打包周期和抖动缓冲,端到端时延预算吃紧。VoNR要和VoLTE拼体验、和OTT拼时延,时延账算不平就不敢上。

复杂度账。 传统EVS在终端上已经算“重”的,GAN类声码器每路通话持续跑推理,功耗、发热、低端机兼容性都是问题。有意思的对照是:Meta的MLow博客宣称CPU开销低于Opus——OTT的解法是极致的模型裁剪,这条经验对终端厂商有直接参考价值。

互操作账。 这是电信网和App的本质区别。编码协商在IMS里是SDP offer/answer一条链路的事,但任何新编码都必须保证“最坏情况回落”:对端不支持就降到AMR-WB甚至AMR-NB,跨漫游伙伴、跨互通局、跨卫星段,全链路任何一跳不支持就得转码。合法监听、紧急呼叫、互联互通测试,一个都不能少。这套一致性工程,才是标准语音编码商用的真正成本所在。

评估账。 POLQA这类MOS算法是在传统编码失真上训练的,面对生成式语音的失真模式(“脑补”错细节比丢细节更伤听感),评分体系本身可能失真。评估方法不改,标准就没法写验收条件。

至于标准化节奏:据多家行业媒体报道,围绕AI语音编码进入3GPP研究的讨论自2024年起明显升温,Rel-19阶段SA4已有相关研究动向;截至发稿,本栏目未能在3GPP官方门户逐条核实立项名称与时间点,具体以官方清单为准。作者的个人判断是:标准冻结大概率落在Rel-20/21窗口(2027年之后),终端规模渗透要再给五年——参照EVS的节奏,2030年代初能在主流VoNR网上见到AI编码已是乐观估计。中间态则注定由OTT先行:Messenger们把水蹚熟,电信标准再收编成熟技术,这和当年WebRTC倒逼IMS的剧本一致。

五、运营商的钱从哪省:三个场景算账

假设AI编码2029年前后进网,钱从哪里省出来?按价值密度排三个场景:

场景 现状痛点 AI编码价值 落地难点
VoNR容量 13.2kbps占据无线资源 同资源语音并发理论上可提升约3倍 终端渗透慢,需全链路升级
卫星直连手机 星上功率与频谱按Hz算钱 窄带链路上保住可用话音 端侧算力、星上处理能力受限
跨境漫游互通 编码协商层层降级到AMR-WB 低码率也保宽带听感 漫游伙伴间一致性

场景一:VoNR容量,最大的一块饼。 做个粗估(仅按载荷码率折算,实际受控制信道和调度开销约束,系数要打折):VoNR主流13.2kbps换3kbps级神经编码,同样无线资源下语音并发容量理论上可到三倍上下。对VoNR铺开的中国和印度市场,这等于不动频谱、不动站址,白捡语音容量——印度Jio已是全球最大的VoNR商用网(据爱立信移动市场报告多次披露),这种网络对语音容量账最敏感,也最可能成为电信AI编码的第一个规模买家。

场景二:卫星直连手机,最刚性的一块。 直接用手机连卫星的系统,链路预算是按“能通就行”设计的,L/S频段窄带宽下语音是奢侈品。目前直连卫星商用多以短信和数据为先行(如Starlink直连手机的路线),卫星语音打通的公开案例如AST SpaceMobile 2023年起与AT&T合作的试验(据公开报道)。3kbps级的语音对这种系统不是锦上添花,是能不能开语音业务的问题。可以预见,AI编码在卫星段会早于地面网商用——因为地面网有EVS这个“够用”的备胎,卫星没有。

场景三:灾备与弱连接。 地震洪水后残余链路、海上、荒漠,3kbps能过的话音信道,12.65kbps过不去。应急通信体系对编码码率的敏感度,远高于日常城市网。叠加神经编码的丢包隐藏能力,弱链路下的可懂度提升是双重的。

六、老兵判断:过不了这几关就别割接

最后给同行几条实在话。如果两年后你的领导问“AI语音编码我们上不上”,先过下面这个清单:

  1. 终端渗透率。 编码是双端的事,参照EVS渗透曲线,没有五年终端换代免谈。初期策略必然是“支持则协商、不支持则回落”,回落路径的MOS稳定性要提前路测。
  2. 功耗实测重于论文指标。 论文听测给的是MOS,用户退网给的是续航。在主力在售机型的低端芯片上跑48小时连续通话测试,比任何白皮书都有说服力。
  3. 弱覆盖场景优先验证PLC。 AI编码对丢包的隐藏能力是它相对EVS信道感知模式的核心增量,电梯、地库、高铁场景的AB对比测试应先于容量扩容测试。
  4. 互通与监听测试当首刀。 新编码进网第一刀砍在互通局和合法监听改造上,这块预算在任何白皮书里都不会替你算。
  5. 盯标准但不赌标准。 OTT侧(Meta的MLow路线)已证明AI编码可以脱离电信标准独立商用,未来五年会出现“OTT先行、电信跟进”的窗口期,对转售和融合通信产品的团队,现在就该开始评估接入方案。标准允许多种实现,具体行为以各厂家官方文档为准,选型时把互通测试前置。

结语

语音网是运营商最老的资产,也是被AI改造最晚的一层——晚到EVS之后十年无换代。但Lyra、SoundStream、EnCodec三篇工作和Meta的现网部署已经把话挑明:3kbps做到13.2kbps的听感,不是预测,是已发表、已部署的现实。接下来十年,语音网的故事会从“资源工程”变成“生成工程”:竞争的焦点不再是把波形压得多小,而是模型把语音补得多真。对运营商,这不是又一个可以观望的营销概念——容量三倍的账、卫星语音的刚需、OTT先跑的现实,三件事叠加起来,AI编码是少数值得现在就写进五年规划的技术。至于节奏,参照EVS:标准慢,但从不缺席;谁先把终端和互通的功课做完,谁先吃容量红利。

参考来源

  1. Lyra: A new very low-bitrate codec for speech — Google AI Blog — Google官方博客,Lyra 3kbps设计目标、单核实时与PLC能力均出自此文
  2. SoundStream: An End-to-End Neural Audio Codec(arXiv:2107.03312) — RVQ架构奠基论文,“3kbps优于Opus 12kbps”听测结论的出处
  3. High Fidelity Neural Audio Compression(EnCodec,arXiv:2210.13438) — Meta神经音频编解码论文,1.5–24kbps多档位与架构细节来源
  4. RFC 6716: Definition of the Opus Audio Codec — Opus官方标准,互联网语音基线码率范围
  5. ITU-T G.722.2(AMR-WB)官方页面 — 宽带语音编码ITU官方标准文档入口

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入