两次全国断网，同一枚变更子弹——Rogers与AT&T割接事故深度复盘

概述

2022年7月8日，加拿大Rogers因一次核心网IP承载网七阶段割接中的“删除路由过滤器”操作，导致全国超过1200万用户断网约15小时，25%的加拿大互联网瘫痪，全国Interac借记卡交易停摆；2024年2月22日，AT&T在例行夜间割接窗口将一个带配置错误的新网元加载进生产网，3分钟后全网进入“保护模式”，1.25亿台设备掉线、9200万通电话被拦截、超过2.5万通911求救电话失败，完全恢复耗时12小时以上。本文基于CRTC披露文件、FCC调查报告及双方官方声明，从一线运维视角复盘两起事故的时间线、根因链、恢复难点与整改措施，并回答一个问题：为什么让全国网络翻车的，往往不是天灾和黑客，而是一张“看起来没问题”的割接工单。

一、Rogers：一条被删掉的路过器过滤器，放倒了半个加拿大

1. 事故经过：七阶段割接，倒在了第六阶段

2022年7月8日凌晨4:45（EDT），Rogers在一次覆盖核心IP承载网、共分七个阶段的割接工程进行到第六阶段时，在分发层路由器上执行了删除一条路由过滤器的操作。这条过滤器原本的作用是限制路由传播范围——删掉之后，所有可能的互联网路由全部涌向核心路由器，瞬间超过设备转发与表项容量，核心网路由体系崩溃。Cloudflare的全球观测数据显示，从05:00到16:30（UTC），Rogers持续从全球BGP表中撤出其IP前缀——在其他网络眼里，这家全国性运营商“从互联网上消失了”。

这不是Rogers第一次栽在软件变更上。2021年4月19日，Rogers就因一次软件更新造成全国无线业务中断近一整天。一年后同一类剧本重演，且规模更大。

2. 影响面：远超“自家用户断网”的范畴

这起事故的行业破坏力在于单运营商的集中度。Netblocks测量约25%的加拿大互联网连接中断；受影响的远不止Rogers的1200万无线和宽带用户：

• 全国支付瘫痪：Interac借记清算依赖Rogers承载网，全国所有商户无论用哪家ISP，都刷不了借记卡，部分店铺直接关门；
• 911受阻：Rogers网络上的手机无法拨打911，汉密尔顿一名男子在断网期间无法呼叫急救，其姐妹死亡——事后无法确认若911可通是否可以避免；
• 城市基础设施失能：多伦多全市四分之一的交通信号灯依靠Rogers蜂窝网做配时联动，市政建筑的火警与喷淋远程监控、公共停车缴费、公共单车全部失效；
• 公共服务中断：Service Canada、加拿大税务局、护照办公系统受影响，安省彩票（OLG）停摆，尼亚加拉医疗系统被迫改期放疗患者、向汉密尔顿转诊急诊；
• 经济账：加拿大商业联合会（CFIB）报告小企业损失数百到数千加元不等；Bloomberg对整体经济损失的预估约为1.42亿加元。当晚The Weeknd在多伦多Rogers Centre的演唱会也因场馆系统瘫痪被迫延期。

3. 处置过程：比故障本身更扎心的四个细节

细节一：内部运维也断网了。 故障切断了Rogers员工访问内部系统的通道，包括连接核心网节点的VPN——想组队定位问题，人先“失联”了。部分工程师靠2015年起与其他运营商建立的互惠机制持有的“应急SIM”接入对手网络沟通，另一些人干脆物理赶到集中办公点建立连接。带外管理（Out-of-Band）缺失，让一支本该15分钟集结的队伍花了几个小时。

细节二：06:00 CTO亲自向对手求援。 CTO Jorge Fernandes在早晨6点联系Bell和Telus的管理层通报情况并提醒“防范网络攻击”，两家竞争对手均表示愿意支援。但Rogers评估后放弃了把用户倒接到对手网络的方案：用户数据库已无法访问，且1000多万用户瞬间涌入对任何一家对手网都是不可承受之重。结论很残酷：局间互济预案如果没有数据库级和信令级的准备，关键时刻就是一句客气话。

细节三：恢复拖到第二天。 当天傍晚开始缓慢恢复，7月9日Rogers宣布“绝大多数”用户恢复，7月11日Downdetector上仍出现投诉尖峰——从4:45算起，全网恢复耗时超过15小时，部分用户更长。

细节四：对外口径的滑稽一幕。 断网当天，Rogers内部邮件要求零售门店撤下“Canada's Most Reliable 5G Network”的宣传物料。

4. 整改与监管响应

Rogers的整改方案核心是无线与有线核心网物理分离（投入2.61亿加元），并在一份三年期、总额100亿加元的网络计划中承诺引入AI监控潜在错误，同时向客户发放5天话费补偿（媒体估算补偿总额2800万至7000万加元，另有1.5亿加元客户 credits 计入整体计划）。CTO Fernandes于7月21日被Ron McKenzie取代，魁北克爆发了要求每户赔偿400加元的集体诉讼。

监管层面，7月11日创新科技部长François-Philippe Champagne召集七大运营商CEO开会，宣布三项强制要求：重大故障时的相互支援义务、向对手受灾用户提供应急漫游、制定面向公众的故障通报预案，限60天内达成协议；9月各方提交了合作谅解备忘录。2024年7月，CRTC正式发布《2022年7月8日断网后Rogers网络韧性与可靠性评估》执行摘要——距离事故整整两年。

二、AT&T：三分钟，从网元上线到全网“保护模式”

1. 时间线：一次没有peer review的夜割

FCC公共安全与国土安全局2024年7月发布的调查报告，把这次事故扒到了配置级别：

2. FCC认定的完整失效链

配置错误只是扳机，FCC在报告里认定事故的范围与时长是全部归因于AT&T的多重因素叠加：

1. 配置错误——直接原因；
2. 不遵守内部流程——设计安装规程要求peer review，实际没做；
3. 审批控制失守——“变更居然能被加载上网”本身就说明卡点形同虚设，FCC原话：审批未完成就不应可能加载到生产网；
4. 实验室验证失真——Lab测试“要么没能有效仿真现网环境，要么没测这个错误配置对更大范围网络的影响”，任何一项做到位都能在上线前拦住；
5. 安装后验证缺失——有效的post-installation test本可以更早发现问题；
6. 下游网元无扩散抑制——下游设备缺少针对此类错误的控制，把错误流量继续向网内传递；
7. 恢复预案缺位——配置了保护模式防止错误扩散，却没有为保护模式退出后的注册拥塞做任何准备。

恢复之所以拖到12小时以上，正是因为重注册风暴：1.25亿台设备断线后同时发起重连，注册系统容量不足，大量终端反复在“注册失败—SOS模式”之间循环。FCC明确指出：更强容量、更弹性的注册系统本可显著加快恢复。这也是所有移动网络运维人都该抄进预案的一句话——你的注册/MME/AMF容量冗余，是按稳态设计的，还是按全网同时重启设计的？

3. 影响量化与后果

• 超过1.25亿台设备受影响，9200万通语音呼叫被阻断，2.5万+通911呼叫失败；
• FirstNet公共安全用户同样断网（AT&T选择优先恢复，5点恢复专网）；
• MVNO及漫游在AT&T网上的其他运营商用户一并受累；
• FCC将该事项移交执法局（Enforcement Bureau）追责。参照系是Verizon：2022年12月一起持续1小时44分钟、波及6个州的割接事故，最终以105万美元罚款加合规计划了结；
• AT&T在事故后两天内部署了新的技术控制，对全网扫描“缺少此类控制”的网元并补齐，同时强化流程：没有peer review完成确认，维护工作不得开工。

三、共性根因：变更管理失效链

把两起事故摆在一起看，根因几乎是同构的——割接本身不是异常操作，失效的是围绕割接的整条防线：

flowchart TD
    A[割接需求: 新增网元/调整路由] --> B{设计评审与peer review}
    B -- AT&T: 未执行 --> C[单人配置<br>第二人直接加载]
    B -- Rogers: 推进至7阶段之第6阶段 --> D[删除分发层路由过滤器]
    C --> E[错误配置进入生产网]
    D --> F[全部路由涌入核心路由器]
    E --> G[下游网元放大错误]
    F --> H[核心过载崩溃]
    G --> H
    H --> I[全国业务中断<br>911/支付/城市基础设施受累]
    I --> J{能否快速止血?}
    J -- AT&T --> K[2小时回滚配置]
    J -- Rogers --> L[带外管理通道同瘫<br>连人带系统一起失联]
    K --> M[注册风暴: 1.25亿终端同时重连]
    L --> N[恢复以10小时计]
    M --> N

用一句话概括：两家都缺了同一颗子弹——变更上线前的“可信拦截”，和变更失效后的“有界爆炸”。

timeline
    title 同一枚子弹：两起全国级断网关键节点
    section Rogers 2022-07-08 (EDT)
        04:45 : 第6阶段割接删除路由过滤器<br>核心路由器过载，BGP前缀全撤
        白天 : 内部VPN同瘫，靠应急SIM重组团队<br>6:00 CTO向Bell/Telus求援未果
        当晚至次日 : 缓慢恢复，15小时+<br>全国借记卡/911/交通灯受累
        07-11 : 部长召见七大运营商<br>强制互济+应急漫游+通报机制
        2024-07 : CRTC发布两年期韧性评估摘要
    section AT&T 2024-02-22 (CST)
        02:42 : 新网元带错上线，无peer review
        02:45 : 保护模式触发<br>1.25亿设备掉线，911全阻
        ~04:42 : 配置回滚完成
        05:00 : FirstNet优先恢复
        12小时+ : 注册风暴消化完毕全网恢复
        2024-07 : FCC报告发布，移交执法局追责

四、写给一线的割接卡点清单

从18年核心网运维的视角，这两份FCC/CRTC报告最有价值的地方，是它们把“运气不好”逐条排除后剩下的确定性教训。落到可执行的割接卡点，我建议对照下表自检：

还有一条容易被忽略的组织级教训：Rogers在100亿加元网络计划中明确引入AI来监督潜在错误，AT&T则在两天内完成全网扫描补齐控制。可以看到头部运营商整改的重心，正在从“事后写报告”转向“事前自动化卡点”——把peer review、配置基线比对、爆炸半径评估做成变更流水线里的机器闸门，而不是邮件里的审批抄送。对国内同行而言，这与近年推行的割接数字化管控、变更灰度与自动回滚要求方向一致，差别只在卡点是被系统强制，还是被人情绕过。

五、结语

两起事故相隔20个月、分属两个国家、触发点一个是路由策略一个是网元配置，但解剖开来是同一张失效清单：评审缺席、卡点失守、验证失真、扩散无界、恢复无备。割接窗口凌晨2:42还是4:45并不重要，重要的是——当你按下回车的那一刻，有多少道闸门在你之前看过这份配置，又有多少道预案在你之后准备接住它。 全国性运营商的韧性，从来不是建出来的，是一次次“差点按下去”的回车键上省出来的。

参考来源

2. FCC report details AT&T outage causes - Ars Technica — FCC调查报告的完整转述：失效链、注册风暴、整改措施
3. February 22, 2024 AT&T Mobility Network Outage Report (FCC) — FCC公共安全与国土安全局官方调查报告原文
4. FCC Issues Report on Nationwide AT&T Wireless Outage (新闻稿) — FCC官方通报：12小时中断、9200万呼叫与911数据
5. AT&T network employee letter — AT&T官方对事故原因"incorrect process"的表态
6. FCC reports AT&T's nationwide outage in February - Fierce Network — 行业媒体对FCC报告与AT&T整改的跟进报道

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。