# 一行配置之差，瘫痪半个加拿大：罗杰斯"7·8"全国断网深度复盘 ## 概述 2022年7月8日凌晨4点45分，加拿大最大的运营商之一罗杰斯（Rogers Communications）在核心网例行维护的第6阶段中，因分发层路由器上一条路由过滤被删除，触发BGP路由风暴，导致全国超过1200万用户断网、约四分之一的加拿大互联网流量消失，911报警电话无法接通、全国银联借记卡（Interac）刷卡瘫痪，持续时间超过15个小时。本文基于Rogers提交加拿大CRTC的事故说明、Cloudflare的第三方观测报告及公开报道，完整还原这次被写入加拿大电信监管史的断网事故：它是怎么从一次“七阶段割接”的第6步开始崩塌的、为什么故障发生后连运维人员自己都“看不见”网络、以及为什么Rogers明知竞争对手Bell和Telus就在旁边，却无法把用户倒过去。 ## 一、时间线：一小时的崩塌，15小时的挣扎 先看主时间线： ```text timeline title 罗杰斯"7·8"断网事件全时间线（当地时间） 2022-04 : 前科——4月19日软件升级致全国无线业务中断近一整天 07-08 凌晨 : 04:30 核心IP网七阶段维护进入第6阶段 07-08 04:45 : 分发层路由器路由过滤被删除，BGP路由风暴爆发，全国业务中断 07-08 05:00 : Cloudflare观测到大规模IP前缀撤回与BGP更新尖峰 07-08 06:00 : CTO费尔南德斯联络Bell/Telus，确认无法用户级倒网 07-08 上午 : 管理VPN随网瘫痪，工程师靠应急SIM和物理到场抢修 07-08 晚间 : 业务开始逐步恢复 07-09 : "绝大多数"用户恢复，CEO公开致歉，承诺5天话费补偿 07-11 : 工业部长香槟召见七大运营商CEO，发布互助/紧急漫游新政 07-21 : CTO被替换，罗恩·麦肯齐接任 08-25 : 宣布投入2.61亿加元实施无线/有线核心网物理分离 09 : 运营商互助谅解备忘录提交工业科技部 2024-07 : CRTC发布针对本次断网的韧性评估报告执行摘要 ``` 如果只看故障发生后的第一个小时，这是一场教科书级的“级联失败”： | 时间 | 事件 | 关键细节 | |---|---|---| | 04:30 | 维护窗口开始 | 核心IP网升级共规划7个阶段，当晚执行第6阶段 | | 04:45 | 路由过滤被删除 | 分发层路由器开始向核心层“宣告所有可能的路由” | | ~05:00 | BGP更新风暴 | Cloudflare观测到Rogers大规模撤回IP前缀，全网“从互联网上消失” | | ~05:00起 | 管理平面随葬 | 运维人员连不进核心网节点的VPN，远程排障通道一并失效 | | 06:00 | 对外求援 | CTO联络Bell与Telus，同时提醒“防备网络攻击” | | 当天白天 | 应急SIM+物理到场 | 部分员工使用2015年起与其他运营商互备的应急SIM卡通信，其余人赶赴集中办公点 | | 当天晚间 | 缓慢恢复 | CEO表态“无法给出完全恢复的时间点” | | 次日 | 基本恢复 | 官方口径“绝大多数用户已恢复”，但Downdetector仍能看到二次尖峰 | ## 二、根因深挖：一条过滤怎么掀翻全国网 Rogers在事后提交给CRTC的说明中给出了官方根因：维护过程中，**分发层路由器上的一条路由过滤被删除**。在正常的架构设计里，这条过滤的作用是限制分发层向核心层宣告的路由范围——删掉之后，所有可能到达互联网的路由全部涌向核心层路由器，直接击穿了核心路由器的处理容量（路由表溢出、CPU打满、BGP会话震荡）。 几个值得工程师细品的点： **1. 这不是“改错配置”，而是“改配置的过程有缺陷”。** 据路透社等媒体报道，涉事设备来自爱立信，爱立信后续承认问题源于其软件代码中的一个缺陷——也就是说，割接操作触发了设备软件的bug，导致本不应被删除的过滤逻辑失效。这也是2021年4月那次全国性断网（软件更新导致无线业务中断近一整天）之后，同一家设备商体系下两年内第二次全国级事故。“厂商代码缺陷”+“维护窗口”的组合，是核心网运维最经典的重大事故配方。 **2. 无线与有线共用一张核心IP网，是爆炸半径失控的根源。** Rogers的移动业务和宽带业务长期承载在同一张IP承载网上。这让一次针对固网侧的维护操作，能够顺路击穿移动核心网——1200万移动用户和数百万宽带用户同时掉线。事后Rogers宣布投入2.61亿加元对无线与有线核心网做物理分离，等于官方承认了这一架构级缺陷。 **3. 管理平面和数据平面同生共死。** 故障发生后，运维人员发现自己连VPN都拨不进去——因为VPN本身也跑在这张断掉的网上。整个故障前期，一线团队处于“半盲”状态：既看不见全网状态，也远程登录不了核心节点。最后的恢复手段非常原始：有人翻出2015年就与其他运营商约定的应急SIM卡（走别家网络保持通信），有人直接开车去集中的办公地点。这是所有核心网运维都该记下的一课：**带外管理不是成本，是保险。** **4. 为什么不能把用户倒到Bell/Telus？** 故障期间Bell和Telus都主动提出帮忙，但Rogers判断技术上不可行：一是HLR/HSS用户数据库已无法访问，根本没法把用户迁出去；二是1000多万用户瞬间涌入对手网络，会把对方网络也压垮。“应急漫游”在制度上存在，在工程上却是空的——这正是后来监管新政要补的洞。 Cloudflare的报告从外部视角印证了整个过程：Rogers的IP前缀在监测图上被成片撤回，BGP更新量出现尖峰——全网路由器在“Rogers不存在了”和“Rogers又回来了”之间反复横跳。加拿大公共安全部随后排除了网络攻击的可能，确认这是一起纯内部故障。 ## 三、影响评估：一次断网的“社会级”杀伤 这次事故之所以震动加拿大朝野，不是因为“断了多少人”，而是因为**一张运营商网络的故障，穿透到了整个社会的基础设施**： | 影响维度 | 具体情况 | |---|---| | 用户规模 | 超过1200万用户断网，Netblocks测算约25%的加拿大失去互联网连接 | | 应急通信 | Rogers网内手机无法拨打911，至少一起死亡事件被报道与无法呼救相关（是否因此致死未经证实） | | 金融支付 | Interac全国借记卡清算瘫痪，无论商户用哪家运营商的网，全国门店刷卡大面积不可用 | | 市政系统 | 多伦多约四分之一交通信号灯依赖Rogers蜂窝网联动；市政楼宇火警与喷淋远程监控、公共停车缴费、公共单车全部失效 | | 医疗 | 尼亚加拉健康系统放射治疗预约被迫改期，急诊患者转院至汉密尔顿 | | 政务 | Service Canada、税务局、护照办事处等联邦服务部分中断 | | 经济 | 经济损失估计约1.42亿加元；小型企业联合会（CFIB）报告会员损失从几百到几万加元不等 | | 连带 | The Weeknd多伦多演唱会因场馆系统瘫痪延期；Rogers当天内部邮件要求门店撤下“加拿大最可靠5G网络”广告语 | | 代价 | 5天话费补偿（估计2800万至7000万加元）、1.5亿加元客户补偿计划，以及一场集体诉讼（诉请每用户400加元赔偿） | Interac那一行尤其值得注意：全国借记卡清算依赖单一运营商的连接，这意味着加拿大金融基础设施的“最后一公里”存在单点。运营商网络的故障域，从来不只是运营商自己的用户。 ```mermaid flowchart TD A[七阶段核心网维护·第6阶段] --> B[分发层路由器路由过滤被删除
厂商代码缺陷被触发] B --> C[所有可能路由涌向核心层] C --> D[核心路由器容量击穿
BGP会话震荡·前缀反复撤回] D --> E[全国转发平面失效
1200万用户·25%国联网络中断] D --> F[管理VPN随葬
远程排障通道失效] F --> G[应急SIM + 物理到场
人工恢复] E --> H[911不通·至少一起死亡报告] E --> I[Interac全国刷卡瘫痪] E --> J[交通灯/火警/政务/医疗连锁失效] G --> K[15小时后基本恢复] ``` ## 四、处置与整改：监管史上最快的一次“补课” 事故的处置节奏值得记录： - **当周（7月11日）**：工业部长香槟召见Rogers、Bell、Telus、Shaw、Vidéotron、SaskTel、EastLink七家运营商CEO，当场宣布三项强制要求——运营商之间建立断网互助机制、为对手受灾用户提供紧急漫游、制定面向公众的故障沟通预案，限期60天内达成协议。 - **7月21日**：CTO若热·费尔南德斯被替换，由Rogers Business前总裁罗恩·麦肯齐接任。 - **8月25日**：宣布2.61亿加元投入固移核心网物理分离，并将其纳入总额100亿加元的三年网络投资计划，同时引入AI监控作为辅助手段。 - **9月**：运营商互助谅解备忘录提交工业科技部。 - **2024年7月4日**：CRTC发布针对本次断网的《罗杰斯网络韧性与可靠性评估》执行摘要，对整改情况进行官方评估。据Rogers向监管机构的后续通报与媒体报道，固移核心网分离等关键工程在此前已完成。 站在运维视角，这份整改清单里真正值钱的是两条：**固移分离**（爆炸半径控制）和**911/紧急漫游互联**（故障时的社会兜底）。前者是架构问题，后者是制度问题，恰好对应这次事故暴露的两个最大软肋。 ## 五、给核心网工程师的六条教训 1. **割接方案要按“最坏单步”设计爆炸半径。** 七阶段割接的第6步能瘫痪全网，说明每一步的失效域评估（blast radius）没有做或没做实。任何一步出问题，影响必须被限制在可接受范围内，而不是“相信前面五步都验证过了”。 2. **路由策略变更是最高危操作。** 一条过滤的增删，改变的是全网路由的收敛行为。高危配置变更必须有双人复核、变更前自动备份、变更后自动比对基线——这次事故里，过滤被删除后系统没有拦截、没有告警、没有自动回滚。 3. **带外管理必须独立成网。** 管理VPN跑在被维护的承载网上，等于消防通道和仓库在同一间屋。OOB网络要独立承载、独立供电、独立认证，且定期演练“数据网全断时还能不能登录设备”。 4. **演练“用户数据库不可用”场景。** Rogers无法倒网的第一原因是HLR/HSS不可访问。灾难预案里如果有“倒载到备份网络”这一条，就必须回答：用户数据、鉴权、计费三件套在主网全断时是否可用。 5. **厂商软件缺陷要进风险台账。** 两年内两次全国级事故都指向维护窗口+软件缺陷。对核心网设备的版本选择、缺陷跟踪、割接窗口的灰度策略，应该按“厂商随时可能给你埋雷”来设防。 6. **911类生命线业务需要制度级的第二路径。** 技术上的冗余永远有上限，911这种业务必须有跨运营商的强制互联兜底——这次事故后加拿大的新政，本质上是用制度补了工程补不上的洞。 ## 结语 回顾这起事故，最讽刺的细节是：Rogers内部当天就发邮件要求门店撤下“加拿大最可靠5G网络”的标语。可靠性从来不是广告语，它是架构冗余、变更纪律、带外生命线和制度兜底的总和。一条被删除的路由过滤值不了几个钱，但它身后站着的，是所有“我们一直这么做的”维护流程和所有“应该不会出事”的架构妥协。对每天在网管系统前熬夜割接的工程师来说，这个案例最值得记住的一句话是：**你删掉的从来不是一条配置，而是你以为还存在的那道防线。** ## 参考来源 2. [Cloudflare's view of the Rogers Communications outage in Canada - The Cloudflare Blog](https://blog.cloudflare.com/rogers-outage/) — 第三方观测视角：BGP更新尖峰与IP前缀撤回的测量数据 3. [Assessment of Rogers Networks for Resiliency and Reliability Following the 8 July 2022 Outage（CRTC，2024年7月4日发布执行摘要）](https://crtc.gc.ca/) — 监管机构对整改情况的官方评估（报告可在CRTC官网检索） 4. [Memorandum of Understanding on Telecommunications Reliability（ISED Canada，2022年9月）](https://ised-isde.canada.ca/) — 事故后加拿大七家运营商签署的互助谅解备忘录 5. 路透社/CBC/环球新闻相关报道 — 爱立信承认软件代码缺陷、CTO更换、2.61亿加元固移分离投资等细节（详见Wikipedia参考索引） --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。