2020年6月15日12:33（美东时间），T-Mobile东南部一条租用光纤传输链路中断。光缆12分钟后自愈恢复，但由此引发的全国性语音、短信（含911）中断却持续了12小时13分钟——FCC事后测算，期间全网至少41%的呼叫尝试失败，超过2.3万通911报警电话没能接进应急中心。FCC调查报告给出的根因链条，起点不是光缆，而是一次路由器割接中改错的OSPF链路权重。本文以这份报告为底本，拆解这条“割接操作→路由失配→信令风暴→IMS拥塞”的完整因果链，并给出一套可直接落地的割接风控清单。
任何一次断网事故复盘，我都习惯先摆出两个时钟：故障触发时钟和业务恢复时钟。这两个时钟的差值，才是运维真正的考卷。
T-Mobile这次事故的两个时钟分别是：
如果根因只是光缆，业务理应跟着光缆一起恢复。但事实是：光缆恢复的那一刻，灾难才刚刚展开。这中间的12小时，正好用来回答一个所有核心网运维都该扪心自问的问题——图纸上的冗余，在真实流量面前还剩几成？
先看FCC报告还原的关键节点：
| 时间（美东） | 事件 | 关键细节 |
|---|---|---|
| 6月15日 12:33 | 东南部租用光纤传输链路中断 | 触发VoLTE承载网路由重收敛 |
| 12:33–12:45前后 | 信令流量按OSPF新路径改道 | 改道路径上的设备并未做好承接准备 |
| 约12分钟后 | 光纤链路自愈 | 但信令面已陷入混乱，业务未随之恢复 |
| 14:41 | T-Mobile才开始向PSAP（911接警中心）批量通报 | 距首发故障超过2小时 |
| 15日下午至夜间 | 注册风暴拖垮IMS | 语音、短信全国性中断，含911 |
| 6月16日 00:46 | 网络恢复“正常工作状态” | 全程12小时13分钟 |
timeline
title T-Mobile 6·15断网事故时间线（美东时间）
6月15日 12:33 : 东南部租用光纤中断，VoLTE承载网路由重收敛
6月15日 12:45 : 光纤自愈恢复——但业务崩溃才刚刚开始
6月15日 14:41 : 距故障2小时后才开始向911接警中心批量通报
6月15日 下午至夜间 : 注册风暴拖垮IMS，全国语音短信中断
6月16日 00:46 : 网络恢复到FCC认定的正常工作状态
FCC公共安全与国土安全局的调查报告，把这条因果链拆成了三层。任何一层守住，事故都不会发生；三层全失守，才有这12小时。
6月15日当天，T-Mobile正在其网络东南部区域安装新路由器。在割接过程中，一台已在网运行的既有路由器的OSPF链路权重（link weight/cost）被配置错误。
做IP承载网的同行都清楚，OSPF的“最短路径”是按开销算出来的，不是按公里数。一条链路的cost值改一改，全网流量的走向就可能天翻地覆。这正是链路权重最危险的地方：它是一个配置参数，却是全网流量的方向盘。
光纤一断，路由重收敛，呼叫信令流量按照被改错的权重涌向了一条备路径——而那条路径上的设备，从设计上就不是用来处理这么大体量呼叫信令的。报告还提到MPLS信令流量被丢弃。也就是说：
这就是“图纸冗余”与“运行冗余”的区别。备路径物理在位，容量、配置、功能却对不上号，故障切换的那一刻，冗余反而成了流量的坟墓。
如果说第一层还有“人为配置错误”的偶然性，第二层则更具普遍警示意义。FCC报告发现，T-Mobile网络中存在一个潜伏数月的第三方软件缺陷（报告未点名供应商），其行为是：把注册请求反复发往一个不可用的节点。
在移动网里，注册失败后重试本是正常机制——临时性故障过一会儿就好了。但当大量终端和网元无退避、无节流地向一个持续不可用的目标反复发起注册时，重试就从“自愈机制”变成了“自杀机制”。这就是所谓的注册风暴（registration storm）：
风暴最终拥塞了T-Mobile的IMS（IP多媒体子系统）——全国语音和短信的共同业务控制层。一个东南部的局部传输故障，就这样被放大成了全国性业务中断。这是核心网运维最经典的扩散模型：局部故障 + 无节流重试 + 共享控制面 = 雪崩。
FCC报告有一个容易被忽略、却最值得运维老手咀嚼的细节：报告把排障动作本身也纳入了事故因果链。不是说 Operators 不该动手，而是在系统已经处于拥塞失稳状态时：
报告特别指出，管理通道的独立性是恢复能力的前提——当业务面拥塞时，你依然要能登录到设备、能看到真实状态，否则排障就退化成“一连串对着不完整画面做出的合理猜测”。
flowchart TD
A[割接：新路由器安装入网] --> B[既有路由器OSPF链路权重被改错]
B --> C[租用光纤中断约12分钟]
C --> D[信令流量按错误权重改道]
D --> E[备路径设备无法承载呼叫信令，MPLS信令丢弃]
E --> F[潜伏软件缺陷：注册请求反复发往不可用节点]
F --> G[注册风暴]
G --> H[IMS全国性拥塞]
H --> I[排障动作在拥塞环境下进一步扰动]
I --> J[全国语音短信中断12小时13分]
FCC测算，事故期间至少41%的呼叫尝试失败。注意这是下限估计——并非每一次失败尝试都能被网络完整记录，所以真实失败面只会更大、不会更小。
更沉重的是应急通话：134,874通911呼叫尝试到达T-Mobile网络，其中23,621通未能接通到911接警中心（PSAP）。同样要精确理解：这是尝试次数，不等于2.3万个不同的人、更不能推出伤亡数字。FCC审阅的记录中，并没有直接人身伤害的投诉——但这份记录的边界，抹不去一个问题：当2.3万通报警电话消失在信令风暴里，应急通信的底线在哪里？
还有一个时点必须写进任何一本运维教材：14:41，T-Mobile才开始向PSAP批量通报，距首发故障超过2小时。FCC承认未收到“未通报”的投诉，但公众安全部门对通报的时效性和信息可用性提出了质疑。这两件事并不矛盾——通报了，但接警中心拿到信息时，还能干什么？
FCC主席Ajit Pai在报告发布时的定性很重：“T-Mobile没有遵循多项成熟的网络可靠性最佳实践。”报告点名的最佳实践包括定期审计网络多样性等。结合这次事故的三层失效点，我把可落地的清单整理如下——每一条都对应这次事故里一个真实存在的坑：
| 阶段 | 动作 | 对应T-Mobile的哪个失效点 |
|---|---|---|
| 割接前 | 路由权重类变更必须做影响仿真：评估链路失效后信令实际流向 | OSPF权重被改错无人知晓 |
| 割接前 | 配置基线比对：既有运行设备的相关参数被割接触碰时强制diff评审 | 既有路由器权重被顺手改掉 |
| 割接前 | 备路径带载演练：以真实信令量验证切换路径的容量与功能 | 备路径设备接不住信令 |
| 割接中 | 灰度分域实施，单域观察期覆盖路由收敛+注册+呼叫建立全链路 | 东南部一次铺开 |
| 割接中 | 割接窗口内置911/应急呼叫拨测，失败立即回退 | 911大量失败数小时未被发现拦截 |
| 割接后 | 关键KPI基线比对：呼叫建立成功率、注册成功率、SIP时延 | 无异常快速发现机制 |
| 常态化 | 网络多样性审计：主备路径是否共享同一光缆段、同一机房、同一控制面 | FCC报告点名建议 |
| 常态化 | 信令重试必须带指数退避+目标节点健康检查，杜绝无节流重试 | 注册风暴 |
| 常态化 | IMS等共享控制面部署过载控制与负荷削峰，优先保911 | IMS被风暴拖垮 |
| 常态化 | 管理面与业务面物理/逻辑隔离，拥塞时保住运维通道 | 拥塞中排障雪上加霜 |
| 应急 | PSAP分阶段通报预案：先报“应急通话可能受影响”，再滚动更新细节 | 2小时后才通报 |
这张表里最贵的一条是备路径带载演练。很多运营商的容灾切换测试停留在“ping得通”，而FCC报告给出的检验标准是三个问题：主路径消失时，流量是否真的走了备路径；备路径设备能否在切换量级下完成对应功能；故障切换产生异常状态后，运维能否在保住管理通道的前提下安全回退。三个问题都过了，冗余才算从图纸走进现实。
这次事故对排障方法论也有参考价值。行业里做VoLTE排障普遍遵循“先分层、再定界”的路径：呼叫建立成功率KPI劣化时，先判断问题在终端、无线（QCI 1专用承载是否建立）、EPC还是IMS域；多条行业排障经验还提到一个容易踩空的点——当用户“满格信号却打不了电话”时，优先查DNS/ENUM解析，因为号码路由解析故障不会体现在无线指标上。T-Mobile这次是全国IMS控制面拥塞，属于最难的一类：单点排障方法全部失效，必须靠全局KPI基线才能看清趋势。这也反证了日常KPI基线（正常时段的呼叫建立成功率、注册成功率、SIP消息时延分布）的价值——没有基线，风暴来临时你连“偏离了多远”都说不出来，对PSAP的通报更是无从谈起。
2020年10月22日，FCC发布调查报告；随后T-Mobile以和解令（consent decree）方式了结FCC执法局的调查：支付1950万美元并执行合规整改计划。注意法律措辞：这是和解支付，不是经裁决认定的罚款。和解了结的是法律责任，了结不了工程问题——报告里那三个问题（路径选择、容量功能、恢复能力）是否真正被修好，只能靠之后的运行数据证明，而不是靠一纸和解令。
这次事故也并非孤例。本专栏此前复盘过的几起大断网——罗杰斯2022年“删错一条过滤”、KDDI 2022年61小时断网、英国Three断话事故——起点各不相同，但内核高度一致：都是一次例行操作变更，撞上了未被验证的冗余设计。区别只在于撞上的那一层是路由过滤、聚合设备还是链路权重。
回到开头那两个时钟：光缆只坏了12分钟，网络瘫了12小时13分。中间的11小时59分钟，没有一分钟属于光缆，每一分钟都属于——改错的权重为什么能上生产网、备路径为什么接不住流量、重试为什么没有刹车、排障为什么越排越乱、通报为什么迟了两小时。
对运营商而言，真正的可靠性指标不是“买了几条备份链路”，而是组件失效的那一刻，业务是否还能延续。对每一位做过割接的工程师而言，FCC这份报告最扎心的一句话其实是：故障切换设计出来是为了救场的，而T-Mobile的备路径在真实流量面前，连自己的独角戏都唱不了。
下次割接前，把上面那张清单过一遍。哪怕只多花两个小时做一次带载演练，也好过用12个小时的全国断网来交学费。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。