概述：2022年7月8日凌晨4时45分前后，加拿大最大的运营商之一Rogers发生全国性断网：无线上网、固网宽带、银行刷卡、911急救呼叫同时中断，超过1200万个人与企业用户受影响，部分用户业务中断超过26小时。更荒诞的是——负责抢修的运维人员，自己的通信也依附在这张断掉的网上，一度集体“失联”，只能开车去机房现场排障。根因是什么？2024年7月，加拿大监管机构CRTC公布了一份委托第三方做出的独立技术评估报告，把整条事故链完整摊开：一次七阶段的IP核心网改造，倒在第六步；一条被“顺手清理”掉的ACL过滤规则，压垮了没有任何过载保护的核心网。本文基于这份评估报告和Rogers致CRTC的信函，做一次完整的故障复盘。
2022年7月8日凌晨4时45分前后（事后多方还原的时间线），Rogers的IP核心网在几秒之内失去了连接互联网的能力。手机信号格还显示满格——因为无线接入侧还活着——但任何流量都出不了核心网。这是最恶性的故障形态：用户侧毫无感知预警，网络“看起来正常”，实际已经全瘫。
天亮之后，影响开始指数级放大：
这次事故还有一个容易被忽略的背景：Rogers当时正在推进对Shaw Communications约260亿加元的收购（据公开报道，该交易2023年4月完成，过程中Rogers按要求将Freedom Mobile出售给Quebecor）。断网发生在这场监管审查的关键窗口期，直接把“单一运营商网络韧性”推成了全国政治议题——事后加拿大产业部（ISED）与CRTC罕见地联合召开听证会，两位部长亲自过问。
CRTC在2023年9月委托独立技术顾问公司Xona Partners对事故做全面评估，报告摘要2024年7月公布（CRTC官方页面）。评估还原了事故的第一个关键背景：这不是一次日常操作，而是一个分成七个阶段的IP核心网升级工程的第六阶段。
前五个阶段全部顺利完成。于是问题来了——按Rogers内部的风险评估算法，升级初始评级为“高风险”，但前五个阶段的成功让算法自动把第六阶段的风险降级为“低”。而按照内部流程，“低风险”意味着：不需要额外的实验室预验证，不需要更高级别的审批。
做过割接的工程师看到这里都会背后一凉：风险模型被历史成功率污染了。前五次成功不但没有证明系统稳健，反而恰恰证明了“这套操作还没真正踩到雷”——第六阶段触碰的汇聚路由器配置，正是前面五次都没碰过的部分。评估报告对此的表述很克制，但意思很清楚：风险评级机制本身，是这次事故的放大器。
根因链是整份报告最值得反复读的部分：
整条因果链，一张图看完：
flowchart TD
A["IP核心网改造 第六阶段"] --> B["清理汇聚路由器文件"]
B --> C["误删ACL策略过滤"]
C --> D["全部BGP路由灌入OSPF"]
D --> E["核心路由器路由过载"]
E --> F["核心网崩溃 全国失联"]
G["核心网未配过载上限"] --> E
H["无线与宽带共用核心网"] --> F
F --> I["无线 宽带 911 同断"]
F --> J["网管网络依附核心网"]
J --> K["远程运维全部失联"]
K --> L["人员跑站读取日志受阻"]
L --> M["约14小时后才定位根因"]
如果只是网络瘫痪，这还只是一个“大号故障”。真正让这次事故进入教科书层面的，是恢复过程的连环窒息——评估报告用相当长的篇幅回答了一个问题：为什么修得这么慢？
这部分的教训，比根因本身更普适：你要修的那张网，和你用来修网的那张网，绝对不能是同一张。 断网事故里最常见的二次伤害，就是运维体系与生产网络共生化——网管同网、告警同网、协同办公同网、甚至运维人员自己的通信同网。平时看不出任何问题，出事时它们会一起消失。
安全工程里有个经典模型叫“瑞士奶酪模型”：每道防线都有孔，事故发生在所有孔排成一条线的那天。把这次事故的防线摆开，孔洞排列得近乎完美：
| 防线 | 设计意图 | 当天的实际状态 | 失效原因 |
|---|---|---|---|
| ACL策略过滤 | 限制进入核心网的路由范围 | 被工程师“清理”删除 | 变更审计未识别关键配置的删除 |
| 路由过载上限 | 即使洪泛也不压垮路由器 | 从未配置过 | 报告确认“缺少过载保护”，ACL是唯一闸门 |
| 主备冗余 | 单点故障时业务无损 | 主备同时过载崩溃 | 路由洪泛是共模故障，冗余无效 |
| 共用核心网隔离 | 无线/固网互为备份域 | 全业务一锅端 | 两网共用同一IP核心，爆炸半径无界 |
| 网管/带外通道 | 故障时仍可远程运维 | 管理网依附核心网 | 无独立带外管理网 |
| NOC备用链路 | 极端情况下指挥不中断 | 无第三方运营商备份 | 未采购替代连接 |
| 人员应急通信 | 团队可协同排障 | 员工用的就是自家网 | 仅少数人有异网应急SIM |
七道防线，道道有孔，而且孔正好连成一线。任何一道守住，这次事故都不会发生，或者不会闹到这个规模。
Rogers的整改方向，CRTC在随附信函中的结论是“措施已解决本次事故的根因”，并确认Rogers落实了Xona提出的全部补充建议。拆开看，整改其实是在重建“三张网”：
行业层面的后续变化同样值得一提：据当时报道，事故后加拿大主要运营商之间签署了正式的应急漫游协议，监管推动“紧急漫游”机制制度化——今后一家全国性运营商瘫痪时，用户可以自动漫游到对手的网络上打紧急电话。这在商业上几乎不可想象（让用户在故障时白用对手的网络），但在911面前，监管没有给运营商留讨价还价的空间。
以一个在核心网和运维一线待了十八年的视角，这份报告值得每个管网络的人抄进自己的检查清单：
第一，警惕“前五个阶段都成功”这句话。 风险评估如果建立在历史成功率上，它衡量的其实是“还没踩到雷的概率”。多阶段工程的每个阶段，风险都应独立评估——尤其是要问一句：这个阶段触碰的配置域，和前面几个阶段是同一类吗？Rogers的算法给了“低风险”，于是省掉了实验室验证和高级审批，恰恰这两样是那天晚上最需要的。
第二，审计配置变更时，盯“删除”比盯“修改”更紧。 修改一条配置，好歹有人看过内容；而“清理文件”式的删除，往往是顺手为之、没有 diff评审。ACL、路由策略、安全组规则这类“平时没人注意、出事就是总闸”的配置，任何删除操作都应该触发最高级别的确认。报告里那句“变更管理未能识别错误配置”，翻译成人话就是：流程走完了，但没有人真的在看。
第三，给核心网配过载保护，就像给配电箱装保险丝。 报告已经把话说到这个份上了：配了过载上限，这次故障本可避免。路由协议的重分发、路由泄漏、反射器风暴，都是能瞬间产生百万级条目的“洪水”。闸门必须至少有两道：入口过滤（哪些路由能进来）+ 数量上限（进来多少算够）。
第四，今天就去演练“生产网全瘫”场景。 问自己三个问题：网管平台断网后，你还有什么路径登录设备？NOC的出口链路有没有第二家运营商？你的团队今晚集体失联，靠什么集结？如果三个问题里有两个答不上来，那么你所在网络的真实韧性等级，比监控大屏上显示的要低得多。Rogers用1200万用户26个小时的代价证明了：事故的真正损失，一半来自故障本身，另一半来自“无法组织抢修”。
这场事故最反直觉的地方在于：Rogers并不缺钱，也不缺设备，更不缺流程——七个阶段的升级计划、风险评估算法、变更管理审计，一样不少。真正缺的，是这些机制之间的“对抗性”：风险算法迷信历史成功，审计流程不看内容，冗余设计没考虑共模故障，管理网络寄生在生产网络。每一层都在机械地运转，没有一层在真正地防守。
2022年7月8日凌晨，一条被顺手删除的过滤规则穿过所有奶酪上的孔，落到了没有保险丝的核心网上。而对于读到这篇文章的运维人来说，最好的纪念方式只有一个：今晚下班前，去确认一下你自己的“第二道闸门”和“第二条带外路”，还真的在。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。