# 两次全国断网，同一枚变更子弹——Rogers与AT&T割接事故深度复盘 ## 概述 2022年7月8日，加拿大Rogers因一次核心网IP承载网七阶段割接中的“删除路由过滤器”操作，导致全国超过1200万用户断网约15小时，25%的加拿大互联网瘫痪，全国Interac借记卡交易停摆；2024年2月22日，AT&T在例行夜间割接窗口将一个带配置错误的新网元加载进生产网，3分钟后全网进入“保护模式”，1.25亿台设备掉线、9200万通电话被拦截、超过2.5万通911求救电话失败，完全恢复耗时12小时以上。本文基于CRTC披露文件、FCC调查报告及双方官方声明，从一线运维视角复盘两起事故的时间线、根因链、恢复难点与整改措施，并回答一个问题：为什么让全国网络翻车的，往往不是天灾和黑客，而是一张“看起来没问题”的割接工单。 ## 一、Rogers：一条被删掉的路过器过滤器，放倒了半个加拿大 ### 1. 事故经过：七阶段割接，倒在了第六阶段 2022年7月8日凌晨4:45（EDT），Rogers在一次覆盖核心IP承载网、共分七个阶段的割接工程进行到第六阶段时，在分发层路由器上执行了删除一条路由过滤器的操作。这条过滤器原本的作用是限制路由传播范围——删掉之后，所有可能的互联网路由全部涌向核心路由器，瞬间超过设备转发与表项容量，核心网路由体系崩溃。Cloudflare的全球观测数据显示，从05:00到16:30（UTC），Rogers持续从全球BGP表中撤出其IP前缀——在其他网络眼里，这家全国性运营商“从互联网上消失了”。 这不是Rogers第一次栽在软件变更上。2021年4月19日，Rogers就因一次软件更新造成全国无线业务中断近一整天。一年后同一类剧本重演，且规模更大。 ### 2. 影响面：远超“自家用户断网”的范畴 这起事故的行业破坏力在于单运营商的集中度。Netblocks测量约25%的加拿大互联网连接中断；受影响的远不止Rogers的1200万无线和宽带用户： - **全国支付瘫痪**：Interac借记清算依赖Rogers承载网，全国所有商户无论用哪家ISP，都刷不了借记卡，部分店铺直接关门； - **911受阻**：Rogers网络上的手机无法拨打911，汉密尔顿一名男子在断网期间无法呼叫急救，其姐妹死亡——事后无法确认若911可通是否可以避免； - **城市基础设施失能**：多伦多全市四分之一的交通信号灯依靠Rogers蜂窝网做配时联动，市政建筑的火警与喷淋远程监控、公共停车缴费、公共单车全部失效； - **公共服务中断**：Service Canada、加拿大税务局、护照办公系统受影响，安省彩票（OLG）停摆，尼亚加拉医疗系统被迫改期放疗患者、向汉密尔顿转诊急诊； - **经济账**：加拿大商业联合会（CFIB）报告小企业损失数百到数千加元不等；Bloomberg对整体经济损失的预估约为1.42亿加元。当晚The Weeknd在多伦多Rogers Centre的演唱会也因场馆系统瘫痪被迫延期。 ### 3. 处置过程：比故障本身更扎心的四个细节 **细节一：内部运维也断网了。** 故障切断了Rogers员工访问内部系统的通道，包括连接核心网节点的VPN——想组队定位问题，人先“失联”了。部分工程师靠2015年起与其他运营商建立的互惠机制持有的“应急SIM”接入对手网络沟通，另一些人干脆物理赶到集中办公点建立连接。带外管理（Out-of-Band）缺失，让一支本该15分钟集结的队伍花了几个小时。 **细节二：06:00 CTO亲自向对手求援。** CTO Jorge Fernandes在早晨6点联系Bell和Telus的管理层通报情况并提醒“防范网络攻击”，两家竞争对手均表示愿意支援。但Rogers评估后放弃了把用户倒接到对手网络的方案：用户数据库已无法访问，且1000多万用户瞬间涌入对任何一家对手网都是不可承受之重。**结论很残酷：局间互济预案如果没有数据库级和信令级的准备，关键时刻就是一句客气话。** **细节三：恢复拖到第二天。** 当天傍晚开始缓慢恢复，7月9日Rogers宣布“绝大多数”用户恢复，7月11日Downdetector上仍出现投诉尖峰——从4:45算起，全网恢复耗时超过15小时，部分用户更长。 **细节四：对外口径的滑稽一幕。** 断网当天，Rogers内部邮件要求零售门店撤下“Canada's Most Reliable 5G Network”的宣传物料。 ### 4. 整改与监管响应 Rogers的整改方案核心是**无线与有线核心网物理分离**（投入2.61亿加元），并在一份三年期、总额100亿加元的网络计划中承诺引入AI监控潜在错误，同时向客户发放5天话费补偿（媒体估算补偿总额2800万至7000万加元，另有1.5亿加元客户 credits 计入整体计划）。CTO Fernandes于7月21日被Ron McKenzie取代，魁北克爆发了要求每户赔偿400加元的集体诉讼。 监管层面，7月11日创新科技部长François-Philippe Champagne召集七大运营商CEO开会，宣布三项强制要求：重大故障时的**相互支援义务**、向对手受灾用户提供**应急漫游**、制定**面向公众的故障通报预案**，限60天内达成协议；9月各方提交了合作谅解备忘录。2024年7月，CRTC正式发布《2022年7月8日断网后Rogers网络韧性与可靠性评估》执行摘要——距离事故整整两年。 ## 二、AT&T：三分钟，从网元上线到全网“保护模式” ### 1. 时间线：一次没有peer review的夜割 FCC公共安全与国土安全局2024年7月发布的调查报告，把这次事故扒到了配置级别： | 时间（CST） | 事件 | |---|---| | 2月22日 02:42 | 一名工程师在例行夜间割接窗口，将一个用于扩展网络功能与容量的**新网元**加入生产网；配置由该员工完成，由**另一名员工**直接加载，**未经规定的peer review** | | 02:45 | 配置错误经下游网元**向网络内部传播**，触发自动“保护模式”，切断所有连接——语音与5G数据处理网元与无线基站、交换网元之间被整体隔离，**全部终端被踢下线** | | 02:45起 | 语音全断，AT&T终端的**所有911呼叫无法路由到PSAP**——包括已附着在AT&T塔上、处于SOS模式的手机；超过25,000通911呼叫失败 | | ~04:42 | 错误配置**回滚完成**（约2小时） | | 05:00 | FirstNet（公共安全专网）按优先级率先恢复 | | 5:00之后 | 商用与家宽用户恢复遭遇**注册风暴**：海量终端同时涌入注册，部分设备被重新打回SOS模式 | | 12小时+ | 业务全面恢复，波及全部50个州及华盛顿DC、波多黎各、美属维京群岛 | ### 2. FCC认定的完整失效链 配置错误只是扳机，FCC在报告里认定事故的范围与时长是**全部归因于AT&T的多重因素叠加**： 1. **配置错误**——直接原因； 2. **不遵守内部流程**——设计安装规程要求peer review，实际没做； 3. **审批控制失守**——“变更居然能被加载上网”本身就说明卡点形同虚设，FCC原话：*审批未完成就不应可能加载到生产网*； 4. **实验室验证失真**——Lab测试“要么没能有效仿真现网环境，要么没测这个错误配置对更大范围网络的影响”，任何一项做到位都能在上线前拦住； 5. **安装后验证缺失**——有效的post-installation test本可以更早发现问题； 6. **下游网元无扩散抑制**——下游设备缺少针对此类错误的控制，把错误流量继续向网内传递； 7. **恢复预案缺位**——配置了保护模式防止错误扩散，却**没有为保护模式退出后的注册拥塞做任何准备**。 恢复之所以拖到12小时以上，正是因为**重注册风暴**：1.25亿台设备断线后同时发起重连，注册系统容量不足，大量终端反复在“注册失败—SOS模式”之间循环。FCC明确指出：更强容量、更弹性的注册系统本可显著加快恢复。这也是所有移动网络运维人都该抄进预案的一句话——**你的注册/MME/AMF容量冗余，是按稳态设计的，还是按全网同时重启设计的？** ### 3. 影响量化与后果 - 超过**1.25亿台设备**受影响，**9200万通**语音呼叫被阻断，**2.5万+通**911呼叫失败； - FirstNet公共安全用户同样断网（AT&T选择优先恢复，5点恢复专网）； - MVNO及漫游在AT&T网上的其他运营商用户一并受累； - FCC将该事项移交执法局（Enforcement Bureau）追责。参照系是Verizon：2022年12月一起持续1小时44分钟、波及6个州的割接事故，最终以**105万美元罚款加合规计划**了结； - AT&T在事故后两天内部署了新的技术控制，对全网扫描“缺少此类控制”的网元并补齐，同时强化流程：**没有peer review完成确认，维护工作不得开工**。 ## 三、共性根因：变更管理失效链 把两起事故摆在一起看，根因几乎是同构的——**割接本身不是异常操作，失效的是围绕割接的整条防线**： ```mermaid flowchart TD A[割接需求: 新增网元/调整路由] --> B{设计评审与peer review} B -- AT&T: 未执行 --> C[单人配置
第二人直接加载] B -- Rogers: 推进至7阶段之第6阶段 --> D[删除分发层路由过滤器] C --> E[错误配置进入生产网] D --> F[全部路由涌入核心路由器] E --> G[下游网元放大错误] F --> H[核心过载崩溃] G --> H H --> I[全国业务中断
911/支付/城市基础设施受累] I --> J{能否快速止血?} J -- AT&T --> K[2小时回滚配置] J -- Rogers --> L[带外管理通道同瘫
连人带系统一起失联] K --> M[注册风暴: 1.25亿终端同时重连] L --> N[恢复以10小时计] M --> N ``` 用一句话概括：**两家都缺了同一颗子弹——变更上线前的“可信拦截”，和变更失效后的“有界爆炸”。** ```text timeline title 同一枚子弹：两起全国级断网关键节点 section Rogers 2022-07-08 (EDT) 04:45 : 第6阶段割接删除路由过滤器
核心路由器过载，BGP前缀全撤 白天 : 内部VPN同瘫，靠应急SIM重组团队
6:00 CTO向Bell/Telus求援未果 当晚至次日 : 缓慢恢复，15小时+
全国借记卡/911/交通灯受累 07-11 : 部长召见七大运营商
强制互济+应急漫游+通报机制 2024-07 : CRTC发布两年期韧性评估摘要 section AT&T 2024-02-22 (CST) 02:42 : 新网元带错上线，无peer review 02:45 : 保护模式触发
1.25亿设备掉线，911全阻 ~04:42 : 配置回滚完成 05:00 : FirstNet优先恢复 12小时+ : 注册风暴消化完毕全网恢复 2024-07 : FCC报告发布，移交执法局追责 ``` ## 四、写给一线的割接卡点清单 从18年核心网运维的视角，这两份FCC/CRTC报告最有价值的地方，是它们把“运气不好”逐条排除后剩下的确定性教训。落到可执行的割接卡点，我建议对照下表自检： | 卡点 | 关键动作 | 事故中的反面教材 | 不达标后果 | |---|---|---|---| | 双人复核 | 配置人与加载人必须分离，且加载前有独立第二人签核 | AT&T：一人配置、另一人直接加载，复核缺席 | 错误配置直达生产网 | | 系统卡点 | 用工单系统**强制阻断**未经签核的加载动作，而非靠自觉 | FCC：“审批未完成就不应可能加载” | 流程写在纸上，机房里不生效 | | 实验室验证 | 环境必须仿真现网拓扑与流量规模，验证**对全网的影响** | AT&T Lab未复现现网、未测错误配置的扩散 | 上线即引爆 | | 爆炸半径 | 分层过滤/抑制规则常在，单点错误不得跨层传播 | Rogers删过滤器后路由无界扩散；AT&T下游网元无抑制控制 | 局部故障升级为全网故障 | | 安装后验证 | 割接后强制执行标准验证用例，5-10分钟内出结论 | AT&T无有效post-installation test | 发现问题晚数小时 | | 回滚演练 | 回滚脚本预验证，明确回滚判据与时间盒 | AT&T回滚2小时完成，但只解决了一半问题 | 回滚≠恢复 | | 恢复容量 | 注册类网元按“全网同时重连”预研容量与限流策略 | AT&T注册系统被涌垮，恢复拖至12小时+ | 停机时间翻5倍 | | 带外管理 | 管理面与承载面物理隔离，含VPN、办公网、监控 | Rogers内部通道与业务网一起瘫痪 | 定位时间成倍拉长 | | 应急通信 | 工程师配备异网应急SIM并演练集结流程 | Rogers靠2015年互惠协议才勉强凑齐团队 | 应急响应解体 | | 局间互济 | 预案必须落到数据库/信令级倒接可行性，不是会议纪要 | Rogers放弃用户倒接：数据库不可达+对手网承载不了 | 互援变客套话 | 还有一条容易被忽略的组织级教训：Rogers在100亿加元网络计划中明确引入AI来监督潜在错误，AT&T则在两天内完成全网扫描补齐控制。可以看到头部运营商整改的重心，正在从“事后写报告”转向“事前自动化卡点”——把peer review、配置基线比对、爆炸半径评估做成变更流水线里的**机器闸门**，而不是邮件里的审批抄送。对国内同行而言，这与近年推行的割接数字化管控、变更灰度与自动回滚要求方向一致，差别只在卡点是被系统强制，还是被人情绕过。 ## 五、结语 两起事故相隔20个月、分属两个国家、触发点一个是路由策略一个是网元配置，但解剖开来是同一张失效清单：评审缺席、卡点失守、验证失真、扩散无界、恢复无备。割接窗口凌晨2:42还是4:45并不重要，重要的是——**当你按下回车的那一刻，有多少道闸门在你之前看过这份配置，又有多少道预案在你之后准备接住它。** 全国性运营商的韧性，从来不是建出来的，是一次次“差点按下去”的回车键上省出来的。 ## 参考来源 2. [FCC report details AT&T outage causes - Ars Technica](https://arstechnica.com/tech-policy/2024/07/fcc-details-att-screwups-behind-outage-that-blocked-25000-calls-to-911/) — FCC调查报告的完整转述：失效链、注册风暴、整改措施 3. [February 22, 2024 AT&T Mobility Network Outage Report (FCC)](https://docs.fcc.gov/public/attachments/DOC-404150A1.pdf) — FCC公共安全与国土安全局官方调查报告原文 4. [FCC Issues Report on Nationwide AT&T Wireless Outage (新闻稿)](https://docs.fcc.gov/public/attachments/DOC-404154A1.pdf) — FCC官方通报：12小时中断、9200万呼叫与911数据 5. [AT&T network employee letter](https://about.att.com/ecms/dam/snrdocs/network-employee-letter.pdf) — AT&T官方对事故原因"incorrect process"的表态 6. [FCC reports AT&T's nationwide outage in February - Fierce Network](https://www.fierce-network.com/wireless/fcc-reports-atts-nationwide-outage-february) — 行业媒体对FCC报告与AT&T整改的跟进报道 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。