一行配置之差，瘫痪半个加拿大：罗杰斯"7·8"全国断网深度复盘

概述

2022年7月8日凌晨4点45分，加拿大最大的运营商之一罗杰斯（Rogers Communications）在核心网例行维护的第6阶段中，因分发层路由器上一条路由过滤被删除，触发BGP路由风暴，导致全国超过1200万用户断网、约四分之一的加拿大互联网流量消失，911报警电话无法接通、全国银联借记卡（Interac）刷卡瘫痪，持续时间超过15个小时。本文基于Rogers提交加拿大CRTC的事故说明、Cloudflare的第三方观测报告及公开报道，完整还原这次被写入加拿大电信监管史的断网事故：它是怎么从一次“七阶段割接”的第6步开始崩塌的、为什么故障发生后连运维人员自己都“看不见”网络、以及为什么Rogers明知竞争对手Bell和Telus就在旁边，却无法把用户倒过去。

一、时间线：一小时的崩塌，15小时的挣扎

先看主时间线：

timeline
    title 罗杰斯"7·8"断网事件全时间线（当地时间）
    2022-04 : 前科——4月19日软件升级致全国无线业务中断近一整天
    07-08 凌晨 : 04:30 核心IP网七阶段维护进入第6阶段
    07-08 04:45 : 分发层路由器路由过滤被删除，BGP路由风暴爆发，全国业务中断
    07-08 05:00 : Cloudflare观测到大规模IP前缀撤回与BGP更新尖峰
    07-08 06:00 : CTO费尔南德斯联络Bell/Telus，确认无法用户级倒网
    07-08 上午 : 管理VPN随网瘫痪，工程师靠应急SIM和物理到场抢修
    07-08 晚间 : 业务开始逐步恢复
    07-09 : "绝大多数"用户恢复，CEO公开致歉，承诺5天话费补偿
    07-11 : 工业部长香槟召见七大运营商CEO，发布互助/紧急漫游新政
    07-21 : CTO被替换，罗恩·麦肯齐接任
    08-25 : 宣布投入2.61亿加元实施无线/有线核心网物理分离
    09 : 运营商互助谅解备忘录提交工业科技部
    2024-07 : CRTC发布针对本次断网的韧性评估报告执行摘要

如果只看故障发生后的第一个小时，这是一场教科书级的“级联失败”：

二、根因深挖：一条过滤怎么掀翻全国网

Rogers在事后提交给CRTC的说明中给出了官方根因：维护过程中，分发层路由器上的一条路由过滤被删除。在正常的架构设计里，这条过滤的作用是限制分发层向核心层宣告的路由范围——删掉之后，所有可能到达互联网的路由全部涌向核心层路由器，直接击穿了核心路由器的处理容量（路由表溢出、CPU打满、BGP会话震荡）。

几个值得工程师细品的点：

1. 这不是“改错配置”，而是“改配置的过程有缺陷”。 据路透社等媒体报道，涉事设备来自爱立信，爱立信后续承认问题源于其软件代码中的一个缺陷——也就是说，割接操作触发了设备软件的bug，导致本不应被删除的过滤逻辑失效。这也是2021年4月那次全国性断网（软件更新导致无线业务中断近一整天）之后，同一家设备商体系下两年内第二次全国级事故。“厂商代码缺陷”+“维护窗口”的组合，是核心网运维最经典的重大事故配方。

2. 无线与有线共用一张核心IP网，是爆炸半径失控的根源。 Rogers的移动业务和宽带业务长期承载在同一张IP承载网上。这让一次针对固网侧的维护操作，能够顺路击穿移动核心网——1200万移动用户和数百万宽带用户同时掉线。事后Rogers宣布投入2.61亿加元对无线与有线核心网做物理分离，等于官方承认了这一架构级缺陷。

3. 管理平面和数据平面同生共死。 故障发生后，运维人员发现自己连VPN都拨不进去——因为VPN本身也跑在这张断掉的网上。整个故障前期，一线团队处于“半盲”状态：既看不见全网状态，也远程登录不了核心节点。最后的恢复手段非常原始：有人翻出2015年就与其他运营商约定的应急SIM卡（走别家网络保持通信），有人直接开车去集中的办公地点。这是所有核心网运维都该记下的一课：带外管理不是成本，是保险。

4. 为什么不能把用户倒到Bell/Telus？ 故障期间Bell和Telus都主动提出帮忙，但Rogers判断技术上不可行：一是HLR/HSS用户数据库已无法访问，根本没法把用户迁出去；二是1000多万用户瞬间涌入对手网络，会把对方网络也压垮。“应急漫游”在制度上存在，在工程上却是空的——这正是后来监管新政要补的洞。

Cloudflare的报告从外部视角印证了整个过程：Rogers的IP前缀在监测图上被成片撤回，BGP更新量出现尖峰——全网路由器在“Rogers不存在了”和“Rogers又回来了”之间反复横跳。加拿大公共安全部随后排除了网络攻击的可能，确认这是一起纯内部故障。

三、影响评估：一次断网的“社会级”杀伤

这次事故之所以震动加拿大朝野，不是因为“断了多少人”，而是因为一张运营商网络的故障，穿透到了整个社会的基础设施：

Interac那一行尤其值得注意：全国借记卡清算依赖单一运营商的连接，这意味着加拿大金融基础设施的“最后一公里”存在单点。运营商网络的故障域，从来不只是运营商自己的用户。

flowchart TD
    A[七阶段核心网维护·第6阶段] --> B[分发层路由器路由过滤被删除<br/>厂商代码缺陷被触发]
    B --> C[所有可能路由涌向核心层]
    C --> D[核心路由器容量击穿<br/>BGP会话震荡·前缀反复撤回]
    D --> E[全国转发平面失效<br/>1200万用户·25%国联网络中断]
    D --> F[管理VPN随葬<br/>远程排障通道失效]
    F --> G[应急SIM + 物理到场<br/>人工恢复]
    E --> H[911不通·至少一起死亡报告]
    E --> I[Interac全国刷卡瘫痪]
    E --> J[交通灯/火警/政务/医疗连锁失效]
    G --> K[15小时后基本恢复]

四、处置与整改：监管史上最快的一次“补课”

事故的处置节奏值得记录：

• 当周（7月11日）：工业部长香槟召见Rogers、Bell、Telus、Shaw、Vidéotron、SaskTel、EastLink七家运营商CEO，当场宣布三项强制要求——运营商之间建立断网互助机制、为对手受灾用户提供紧急漫游、制定面向公众的故障沟通预案，限期60天内达成协议。
• 7月21日：CTO若热·费尔南德斯被替换，由Rogers Business前总裁罗恩·麦肯齐接任。
• 8月25日：宣布2.61亿加元投入固移核心网物理分离，并将其纳入总额100亿加元的三年网络投资计划，同时引入AI监控作为辅助手段。
• 9月：运营商互助谅解备忘录提交工业科技部。
• 2024年7月4日：CRTC发布针对本次断网的《罗杰斯网络韧性与可靠性评估》执行摘要，对整改情况进行官方评估。据Rogers向监管机构的后续通报与媒体报道，固移核心网分离等关键工程在此前已完成。

站在运维视角，这份整改清单里真正值钱的是两条：固移分离（爆炸半径控制）和911/紧急漫游互联（故障时的社会兜底）。前者是架构问题，后者是制度问题，恰好对应这次事故暴露的两个最大软肋。

五、给核心网工程师的六条教训

1. 割接方案要按“最坏单步”设计爆炸半径。 七阶段割接的第6步能瘫痪全网，说明每一步的失效域评估（blast radius）没有做或没做实。任何一步出问题，影响必须被限制在可接受范围内，而不是“相信前面五步都验证过了”。
2. 路由策略变更是最高危操作。 一条过滤的增删，改变的是全网路由的收敛行为。高危配置变更必须有双人复核、变更前自动备份、变更后自动比对基线——这次事故里，过滤被删除后系统没有拦截、没有告警、没有自动回滚。
3. 带外管理必须独立成网。 管理VPN跑在被维护的承载网上，等于消防通道和仓库在同一间屋。OOB网络要独立承载、独立供电、独立认证，且定期演练“数据网全断时还能不能登录设备”。
4. 演练“用户数据库不可用”场景。 Rogers无法倒网的第一原因是HLR/HSS不可访问。灾难预案里如果有“倒载到备份网络”这一条，就必须回答：用户数据、鉴权、计费三件套在主网全断时是否可用。
5. 厂商软件缺陷要进风险台账。 两年内两次全国级事故都指向维护窗口+软件缺陷。对核心网设备的版本选择、缺陷跟踪、割接窗口的灰度策略，应该按“厂商随时可能给你埋雷”来设防。
6. 911类生命线业务需要制度级的第二路径。 技术上的冗余永远有上限，911这种业务必须有跨运营商的强制互联兜底——这次事故后加拿大的新政，本质上是用制度补了工程补不上的洞。

结语

回顾这起事故，最讽刺的细节是：Rogers内部当天就发邮件要求门店撤下“加拿大最可靠5G网络”的标语。可靠性从来不是广告语，它是架构冗余、变更纪律、带外生命线和制度兜底的总和。一条被删除的路由过滤值不了几个钱，但它身后站着的，是所有“我们一直这么做的”维护流程和所有“应该不会出事”的架构妥协。对每天在网管系统前熬夜割接的工程师来说，这个案例最值得记住的一句话是：你删掉的从来不是一条配置，而是你以为还存在的那道防线。

参考来源

2. Cloudflare's view of the Rogers Communications outage in Canada - The Cloudflare Blog — 第三方观测视角：BGP更新尖峰与IP前缀撤回的测量数据
3. Assessment of Rogers Networks for Resiliency and Reliability Following the 8 July 2022 Outage（CRTC，2024年7月4日发布执行摘要） — 监管机构对整改情况的官方评估（报告可在CRTC官网检索）
4. Memorandum of Understanding on Telecommunications Reliability（ISED Canada，2022年9月） — 事故后加拿大七家运营商签署的互助谅解备忘录
5. 路透社/CBC/环球新闻相关报道 — 爱立信承认软件代码缺陷、CTO更换、2.61亿加元固移分离投资等细节（详见Wikipedia参考索引）

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。