概述:2025年10月,康奈尔大学联合微软、Meta的研究人员在arXiv发布论文《Stable and Fault-Tolerant Decentralized Traffic Engineering》(arXiv:2510.11937),首次系统量化了云骨干网“去中心化流量工程”的一个新型故障——分歧拥塞:多个自治控制器各自算出了数学上的最优路由,合在一起执行时,却把链路压到超过物理容量30%。论文给出的药方出人意料——从机器学习里借来“正则化”,让分歧拥塞下降14倍、故障爆炸半径缩减79%。本文以这篇论文为解读主轴,讲清楚骨干网自动化这十年走到哪了、新故障从哪来、以及它给电信承载网运维上了怎样一课。
先交代背景。全球云厂商的骨干网(WAN)把分布在世界各大洲的数据中心连成一台计算机,上面跑的是EB级的内部流量——搜索、视频、存储复制、模型训练同步。管理这张网的核心技术叫流量工程(Traffic Engineering,TE):决定每一条业务流在网状拓扑里走哪条路、各分多少带宽。
论文回顾了这套体系的演进:十多年来,云厂商普遍采用集中式软件定义TE——一个全局控制器掌握全网状态,周期性采集两类输入:网络拓扑(物理链路和容量)、流量需求矩阵(各数据中心两两之间的流量)。然后把它建模为多商品流问题,写成线性规划(LP),丢给Gurobi或CPLEX这类商用求解器算出全局最优的流分配。
节奏是这么个节奏:每5到10分钟,控制器重算一次,再把转发表下发到数百台路由器。 这个数字建议记住,后面有用。
这条路的收益业界早有共识。谷歌2013年公开的B4骨干网论文给过著名结论:靠集中式TE,广域网链路利用率能做到传统方式的2到3倍——传统运营商骨干网为了保证冗余,链路平时只敢跑三成左右负载,B4直接拉到七成以上。谷歌官方招聘页面至今仍写着:统一流量工程(UTE)团队“负责谷歌全球网络(含B4)的优化路由与流量负载均衡”,可见这套体系至今仍在生产网核心位置。
但集中式有个致命属性,论文原话说得毫不客气:爆炸半径是全球的。一个控制器软件故障,可以级联成一场行星尺度的断网。而且论文明确指出:“这类故障在生产云骨干网中发生过,导致数亿用户的服务中断”,正是这些事故促使云厂商重新审视这套架构。
科技圈对这类故事并不陌生。科技博客warstories就复盘过一次谷歌云的故障:一次TE变更改变了请求在全球网络的路由方式,流量不均匀地聚集,部分区域承受了远超预期的负载。TE这种“看不见的底层”,一旦出手事故,就是全局性的。
于是,架构拐点来了。
论文第二部分描述了云厂商的应对:把骨干网TE去中心化——将全网拓扑切成若干个自治“切片”(slice),每个切片由一个独立控制器管理。
这里的逻辑跟电力系统里“分区解列”是一个思想:故障来了,烧一片,不能烧全网。控制器A挂了,只有A切片里的路由器受影响,爆炸半径被锁死在全网的一小部分。
要实现真正的故障隔离,论文强调了一个关键前提:各切片控制器必须完全自治——不能共享状态、不能协调决策。每个控制器都要独立完成四件事:
理想情况很美好:如果所有控制器看到的拓扑和需求一模一样,解同一道题,就应该得到同一个答案。那么不管全网是一个控制器还是N个控制器,网络行为完全一致——去中心化白赚了一层故障隔离,路由质量一分不丢。
可惜,物理世界不给这个面子。
问题出在“输入”上。行星尺度的网络,测量本身就是件粗活。
论文描述了每个控制器采集需求时面对的现实:要轮询数百台路由器,每台路由器维护着数百万个逐流计数器,线速接近每秒太比特。采集过程中的误差来源有三类:
结果就是:同一时间窗、同一个网络,不同控制器算出的需求矩阵不一样。 论文用一家大型商用云骨干网的实测数据量化了这件事——全部源宿对中,25%的需求矩阵差异超过10%。 论文特别强调:这不是软件bug,不是配置错误,而是“行星尺度、皮比特速度网络里测量精度的固有极限”。
如果只是输入差一点,输出差一点,也就忍了。真正的麻烦在数学上:TE是个线性规划,而LP的最优解落在可行域多面体的顶点上。在高负载网络里,最优点往往卡在多条约束的交点处——此时输入的微小扰动,会让最优解向量跳到可行域的另一个完全不同的顶点。不同的求解路径(单纯形法的不同迭代序列)、甚至LP本身存在的多重最优解,都会加剧这种跳变。
于是实测出现了论文里最触目的一组数字:
用一张图看这个故障链条:
flowchart TD
R["全网路由器<br/>每台数百万流计数器"] --> C1["切片1控制器<br/>独立预测需求"]
R --> C2["切片2控制器<br/>独立预测需求"]
C1 --> D1["预测矩阵A<br/>北线100G 南线50G"]
C2 --> D2["预测矩阵B<br/>北线50G 南线100G"]
D1 --> E1["求解线性规划<br/>得到数学最优解"]
D2 --> E2["求解线性规划<br/>得到数学最优解"]
E1 --> F["两套转发表同时生效<br/>同一链路压入双份流量"]
E2 --> F
F --> G["分歧拥塞<br/>过载可达容量三成以上"]
干过传输和承载网的读者看到这里会心一笑:这不就是“双平面各算各的、业务实际双发”的翻版吗?只不过这次出事的不是人,而是两个都绝对理性的AI控制器。更麻烦的是论文指出的不可预测性:一条路径会不会发生分歧,取决于需求扰动、拓扑、当前优化工作点三者的复杂交互——你没法提前知道哪条链路哪天会被自己的“同事”挤爆。
发现问题不难,难的是论文接着把常规解法挨个排头砍了一遍,这段“排除法”恰恰是全文对运维人最有价值的部分。
第一条路:让控制器开会协商。 大家先对齐需求矩阵再各自计算,听起来最自然。但论文算了两笔账:一是共识协议(Paxos、Raft之流)会在切片之间建立依赖,某个切片的需求预测器出一次拜占庭故障,就可能把“毒数据”散给所有切片——故障隔离直接作废,去中心化白干了;二是在行星尺度网络上,每隔几分钟对数百万个流计数器达成共识,其时延远超TE计算的时间预算——别忘了,重算周期只有5到10分钟。
第二条路:在切片边界调整流分配。 下游切片给的带宽多了少了都难以对齐,硬调必然丢流量,网络利用率随之劣化。
第三条路:需求无关路由。 干脆不算需求了,用对任意需求都表现尚可的鲁棒路由。理论保证很美,代价是吞吐量比需求感知路由低数量级——对EB级流量的云骨干网,这个钱没人付得起。
第四条路:预留余量。 实测表明,要兜住分歧的影响,需要在所有链路上预留30%的空容量——因为分歧不可预测,不能只挑关键链路留。云厂商精打细算跑到七成利用率才攒下的家底,一夜回到解放前。
第五条路:把预测做准。 用更花的机器学习模型去消除噪声?论文的回答很冷:噪声不是建模的副产品,而是分布式测量过程本身的属性——路由器高负载丢计数器、采样时刻天然错位,再聪明的算法也变不回已经丢掉的信息。论文顺带对时下火热的深度学习需求预测泼了冷水:这类方法“由于泛化能力差、可解释性有限,始终未能大规模部署”。
至此,生产TE系统只剩两个选项:要么放弃去中心化,要么接受不可预测的拥塞。论文的工作,就是在这两难中间劈出第三条路。
论文给出的系统叫SYMPHONY。它的核心想法借自一个意想不到的地方:机器学习的正则化。
训练过模型的人都知道L2正则:在损失函数后面加一项参数的平方和,惩罚那些对训练数据过度敏感的解,防止过拟合。SYMPHONY把同样的思想搬进TE——在原有TE目标函数(最大吞吐、最大并发流、最小最大链路利用率都兼容)后面,叠加一项正则项:λ乘以全网链路利用率的平方和。
这一项在数学上干了件大事:它把线性规划变成严格凸的二次规划。几何图像是这样——LP的最优解待在多面体尖锐的顶点上,扰动一来就从一个顶点跳到另一个顶点;加了正则之后,目标函数的等值面变成光滑曲面,问题拥有唯一的全局最优点。输入小扰动,最优点只会连续地、成比例地小移动,不再跳变。于是各切片控制器哪怕拿着略有差异的输入,也会自发收敛到彼此兼容的分配——不需要任何协调。
还有一个漂亮的细节:为什么惩罚的是利用率的平方而不是一次方?论文给了个两链路的例子:链路利用率组合(1, 0)和(0.5, 0.5),对一次方惩罚来说一样好,但对平方惩罚来说只有后者最优。平方项天然偏爱把流量摊匀——高利用率链路正是分歧时最先爆掉的那批,低利用率链路则有“余量”容忍分歧。正则化在不知不觉间完成了载荷均衡和稳定性双赢。
flowchart TD
A["原TE目标函数"] --> B["叠加正则项<br/>惩罚高利用率链路"]
B --> C["线性规划变成严格凸问题"]
C --> D["最优解从会跳变的顶点<br/>变成唯一的稳定点"]
D --> E["输入小幅扰动<br/>解只连续小幅移动"]
E --> F["各控制器不协商<br/>自然收敛到兼容分配"]
工程落地还有两道坎,论文的解法都透着务实:
第一道坎:二次规划算得慢。 QP虽仍是多项式时间可解的凸问题,但通常比LP慢,而TE的时间预算只有分钟级。SYMPHONY的办法是选择性正则化:并非所有链路都可能发生分歧拥塞——只被单个切片流量经过的链路从数学上就不可能分歧;再借助历史数据估计每条链路的最坏负载,远低于容量的也无需正则。只对关键路径出手,问题规模可控,运行时间与基线TE相当,可扩展到已知最大的WAN拓扑。
第二道坎:切片怎么切也有讲究。 论文发现,朴素的切法(比如以最小化切片间割边为目标)会把高流量节点聚在同一个切片里——故障一来,整片“大象流量”一起殉葬,反而放大爆炸半径。SYMPHONY设计了一个随机化切法:利用流量重尾分布的特性,先用“大象流”源做种子,再迭代平衡各切片的流量与节点数,生成多个候选切法供运维按地理等约束挑选。
部署上的好消息是:只改优化目标函数,不动测量系统、路由协议和交换机硬件。SYMPHONY用段路由实现(业界广泛支持、在去中心化WAN里常见部署),即插即用;正则参数λ在工程上“数个数量级范围内不敏感”,按目标固定一个值即可,无需反复调参——这对运维友好得近乎奢侈。
把论文的核心数字汇总成两张表。
表一:论文实测的“分歧拥塞”账本(数据来自一家大型商用云骨干网)
| 指标 | 数值 | 说明 |
|---|---|---|
| 需求矩阵差异超10%的源宿对占比 | 25% | 同一时间窗、不同控制器测量 |
| 同一路径分配分歧超10%的时间窗占比 | 超过10% | 不同控制器分给同一路径的带宽 |
| 流分配最大分歧幅度 | 接近80% | 两个“各自最优”的解方向相反 |
| 分歧拥塞峰值过载 | 超容量30% | 链路物理容量被突破 |
| 集中式TE重算周期 | 5至10分钟 | 同时重编数百台路由器 |
| 预留容量法所需余量 | 全部链路30% | 不可行,成本无法接受 |
表二:三种架构对比(依据论文)
| 维度 | 集中式TE | 去中心化切片(现状) | 切片+SYMPHONY |
|---|---|---|---|
| 控制器 | 全网一个 | 每切片一个,完全自治 | 每切片一个,完全自治 |
| 故障爆炸半径 | 全球 | 限于切片内 | 限于切片内,再缩79% |
| 求解问题 | 线性规划 | 线性规划 | 选择性正则的凸二次规划 |
| 分歧拥塞 | 不适用 | 不可预测,可过载30% | 降低14倍 |
| 切片间协调 | 不需要 | 不允许 | 依然不需要 |
成绩单之外,论文还给了理论证明:无论TE目标是什么、切片怎么切,正则化都能证明地降低分配分歧——不是某个数据集上调出来的经验值,而是可复现的数学性质。这恰恰是它和那些“泛化差、解释不了”的深度学习TE方案的分野。
这篇论文虽然写的是云厂商的WAN,但戏台下坐着的电信承载网工程师,恐怕没人能坐得住。三点启示,条条扎心。
第一,“各自正确”的合成谬误,是自动化的原生病。 过去我们排查故障,默认前提是“网元配错了”“数据不对”——总有一个环节是错的。分歧拥塞最阴的地方在于:每个控制器的输入、算法、输出全都是对的,故障是多个正确体在数据面的合成效应。随着自智网络分级往L4、L5推进,网络里这种“多个自治体各算各的”的结构只会越来越多——跨域控制器、多层协同、无线与承载的联动优化,全都在制造同样的问题形状。故障排查的方法论得升级了:别只问“谁错了”,要问“谁和谁在对不上”。
第二,稳定性该被写进优化目标,而不是当工程事后补充。 我们的网优考核表上从来都是吞吐量、时延、利用率,从来没有一条叫“解的稳定性”。SYMPHONY的立场是:把稳定性提升为一等设计目标,与传统优化目标并列。对电信网而言这意味着什么?意味着评估一个网优算法、一个AI编排器,除了看它能省多少带宽,还要看它对输入扰动敏不敏感、两次计算之间解跳不跳变。一个每次都“最优”但每次答案乱跳的算法,在生产网上不如一个次优但平稳的算法。
第三,别把自动化孤注一掷在“更聪明的预测”上。 论文排除法的最后一刀是砍向“把预测做准”这条路的:有些信息在分布式测量中已经物理性丢失,模型再先进也补不回来。这对当下铺天盖地的“大模型进网络”叙事是一剂清醒剂——AI能解决的是信息足够时的决策问题,解决不了信息本身不存在的问题。 真正的解法往往在问题形式本身:改一改目标函数的几何形状,比换一个更大的模型管用得多。有意思的是,这个修复方案又不是反AI的——正则化恰恰是机器学习几十年沉淀下来的核心智慧,一次漂亮的跨领域移植。
还要替运维同行问一句:这套东西离电信网远吗?段路由、集中式控制器、分钟级重算,这些元素在IP承载网里一个不缺;5G承载推的SRv6+EVPN架构下,多域控制器并存的局面与论文描述的场景高度同构。标准允许多种实现,具体行为以各厂家官方文档为准,但分歧的数学不认厂家——只要两个控制器独立解LP,几何性质就在那里等着。
回头看这场故障,最值得咀嚼的是它的隐喻。十年前,行业把骨干网交给集中式控制器,收获了利用率,也埋下了单点;如今把控制器切片分权,收获了故障隔离,却意外打开了“分歧”这个新暗门。每前进一步,都是旧问题换新装。
SYMPHONY的价值不只是14倍和79%这两个数字,而是它示范了一种姿势:面对自动化的次生故障,回去读数学,而不是堆更多自动化去盖住它。 线性规划的顶点会跳,那就把可行域的地形修成只有一个坑。控制器不许开会,那就让它们各自算完自动殊途同归。
对正把AI往网管台上、往编排器里、往核心网上搬的通信业来说,这篇论文值得打印出来贴在墙上。 autonomous network 的终点不是“没有人”,而是“人人收敛到同一个答案”——在那之前,每一个被切开的域、每一个自治的控制器,都可能正在悄悄酝酿一场谁都没做错的故障。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
