## 概述 2022年7月8日凌晨，加拿大最大运营商之一罗杰斯（Rogers）发生全国性断网：约1100万手机用户和225万家庭宽带用户同时失联，全国Interac借记卡支付停摆，甚至911报警电话也无法接通，瘫痪持续约19个小时。本文以Cloudflare官方技术博客《Inside the Rogers outage》和加拿大政府委托的独立评估报告为权威锚点，复盘这次事故的完整时间线、根因传导链、处置过程与监管整改，并提炼出七条对核心网工程师真正有用的教训：一次再普通的维护变更，如何在没有“爆炸半径”设计的网络里演变成国家级灾难。 ## 目录 - 一、事故速览：一个国家同时失去网络和救命电话 - 二、19小时时间线：从一次例行维护到全国瘫痪 - 三、根因复盘：一条变更如何点燃整个核心网 - 四、次生灾害：DNS雪崩与全国支付停摆 - 五、911为什么打不通 - 六、处置与整改：监管把可靠性写进了并购协议 - 七、写给核心网工程师的七条血泪清单 - 八、结语：大网没有小事 ## 一、事故速览：一个国家同时失去网络和救命电话 罗杰斯是加拿大举足轻重的运营商：无线用户约1100万，旗下还经营Fido、chatr等子品牌，同时是最大的有线宽带提供商之一，家庭宽带用户约225万。换句话说，这个人口只有3800万的国家，近三分之一的移动用户挂在它一家身上。 2022年7月8日，星期五，加拿大东部时间凌晨不到5点，罗杰斯的网络从核心开始崩塌。这不是一次基站级或局部故障——移动语音、短信、数据业务与家庭宽带、企业专线**同时**失效，且波及全国。用户手机显示无服务，宽带光猫失去同步，罗杰斯的自治域AS812几乎从全球互联网路由表中整体消失。 对普通人来说，这是刷不出视频的一天；对加拿大社会来说，这是基础设施级的一天：商家刷不了借记卡——因为全国统一的Interac支付网络部分依赖罗杰斯的承载链路；联邦政府Service Canada和税务局的咨询电话瘫痪；加拿大边境服务局的对外电话中断；多地警方公开提醒市民：911可能打不通，请尝试座机或换用其他运营商手机。 事故当晚，罗杰斯确认这不是网络攻击，而是自家核心网的一次内部故障。但真正让业界后背发凉的，是事后公布的根因：**引爆点不是什么天灾，而是一次常规的维护变更**。 ## 二、19小时时间线：从一次例行维护到全国瘫痪 先看时间线。以下时刻综合罗杰斯官方通报、加拿大政府委托的独立评估报告及当地媒体（CBC、Reuters等）报道整理，个别时刻为约数： | 时间（当地时间） | 事件 | |---|---| | 7月8日 约04:45 | 核心网一台核心分发路由器上的维护变更启动 | | 7月8日 约05:00 | 变更触发路由策略异常，海量路由涌入有限一组区域路由器，设备过载崩溃 | | 7月8日 清晨 | 故障沿内部路由协议级联扩散，移动+宽带全国瘫痪；AS812路由从全球表撤销 | | 7月8日 上午 | 911呼叫受阻公告发布；Interac支付大面积停摆；政府电话线路中断 | | 7月8日 白天 | 罗杰斯确认非网络攻击；抢修因设备逐台重启、路由反复汇聚而缓慢推进；用户DNS请求涌向对手与公共DNS | | 7月8日 晚间 | 部分移动业务优先恢复，宽带逐步跟进 | | 7月9日 早晨 | 服务基本全面恢复，主流口径累计约19小时 | | 7月11日 | 联邦工业部长商鹏飞（François-Philippe Champagne）公开要求罗杰斯书面说明，国会启动质询 | | 2022年10月 | 政府委托的第三方独立评估报告发布，披露根因细节与整改建议 | | 2023年3月 | 罗杰斯260亿加元收购萧氏（Shaw）获附条件批准，网络可靠性成为附带承诺之一 | | 2023年起 | CRTC（加拿大广播电视及电信委员会）推动重大故障强制报告机制，要求运营商在重大断网后两小时内上报 | ## 三、根因复盘：一条变更如何点燃整个核心网 这一节是全文的核心。本文的根因细节主要锚定两份权威材料：一是Cloudflare官方技术博客《Inside the Rogers outage》（blog.cloudflare.com/inside-the-rogers-outage/），Cloudflare作为全球观测点记录了罗杰斯路由从全球表消失的全过程；二是加拿大政府创新科技与工业部（ISED）委托独立第三方出具的评估报告（2022年10月发布，见 ised-isde.canada.ca），报告基于罗杰斯内部数据还原了故障链。 ### 引爆点：一台核心分发路由器上的维护变更 根据独立评估报告的还原，故障起源于多伦多附近一台**核心分发路由器**上的维护操作。变更过程中，路由过滤策略出现异常——用大白话说：本该挡在外面的海量互联网路由路径，因为“过滤器失守”，被放进了内部网络里一组有限的**区域路由器**。 这组区域路由器的路由表容量被瞬间击穿，设备过载，线卡崩溃。注意这里的雪崩结构：一台设备崩了，路由协议立刻重新收敛，把流量和路由信息压向邻居；邻居本来就接近极限，跟着崩；如此往复，故障在扁平的内部路由域里**横向点燃**，最终全网路由协议陷入动荡。 Cloudflare的博客从外部视角印证了这一切：7月8日早晨，罗杰斯对外通告的BGP前缀大面积撤销，这个承载着上千万用户的自治域，从全球互联网的“地图”上整体消失。Cloudflare记录到，来自罗杰斯地址段的流量在加拿大境内的占比断崖式归零。 ### 放大器一：没有爆炸半径的扁平架构 工程师看到这里一定会问：一台路由器出问题，怎么可能全网陪葬？ 答案是：罗杰斯的内部路由架构在故障面前**没有隔离带**。区域路由器之间在同一个路由域内强耦合，缺少能把故障“闷死在本地”的分层设计。独立评估报告对此的批评相当直白：网络缺少遏制故障扩散的机制，一次局部异常被路由协议忠实地复制到了全网。 更致命的是第二层归一：**移动网络与有线宽带共用同一个IP承载核心**。这解释了事故最反常的特征——为什么手机和家宽同时死？因为在罗杰斯，它们踩在同一条地板上。加拿大监管机构在事后评估中明确指出，这种“一损俱损”的结构是行业层面的风险，不能只算罗杰斯一家的账。 ### 放大器二：恢复期比崩溃期更难 断网只是上半场。设备逐台重启、重新加入路由域的过程，本身就伴随持续的路由重汇聚冲击——刚恢复的设备再次承受全网的收敛压力，性能脆弱时段被反复拉长。这就是为什么恢复花了十几二十个小时：工程师不是在按一个开关，而是在一台一台地稳定设备、一段一段地验证路由，像在地震后逐一检查每一根梁柱。 用故障传导链看全局： ```mermaid flowchart TD A["凌晨维护窗口"] --> B["核心分发路由器变更"] B --> C["路由过滤策略失守"] C --> D["海量路由涌入区域路由器"] D --> E["路由表容量击穿"] E --> F["设备线卡崩溃"] F --> G["内部路由协议全网动荡"] G --> H["BGP会话大面积撤销"] H --> I["AS812从全球路由表消失"] G --> J["自有递归DNS不可达"] J --> K["终端涌向对手与公共DNS"] K --> L["恢复期查询回涌二次冲击"] I --> M["移动语音短信数据全断"] I --> N["家宽与企业专线全断"] M --> O["911呼叫受阻"] N --> P["Interac全国停摆"] ``` 16个节点，三条支线：路由崩塌主线、DNS次生灾害支线、业务影响支线。值得强调的是，从“变更”到“全国瘫痪”之间**没有任何一个环节被设计成能中途刹车**。 ## 四、次生灾害：DNS雪崩与全国支付停摆 故障的传播不止于罗杰斯自己的网络。Cloudflare的博客记录了一个极具行业意义的次生现象：罗杰斯自有递归DNS不可达后，其用户设备（终端、路由器、企业网关）自动回落到其他解析路径——贝尔（Bell）、Telus两家对手运营商的递归DNS，以及1.1.1.1等公共DNS的查询量出现明显跳升。罗杰斯的故障，瞬间变成了对手的容量压力测试。 这个细节对网优和数通工程师的启示非常具体：**大网故障从来不是孤立的**。你家的递归DNS挂了，冲击波会精确地传导到邻居的解析系统上；如果多家运营商在同一时段出事，公共DNS就会成为新的单点。事后加拿大业界讨论的“递归DNS互备协议”，正是从这个教训长出来的。 支付侧的连锁反应同样深刻。Interac是加拿大全国统一的借记卡清算网络，其部分成员机构的接入链路依赖罗杰斯承载。结果全国商家 Saturday morning 买咖啡都刷不了卡，ATM大面积不可用， charity捐款、小商户经营受到实质影响。据当地媒体统计，这是加拿大历史上影响面最大的一次支付中断之一。一家运营商的核心网，就这样短暂地拖住了国家的支付主动脉。 ## 五、911为什么打不通 比断网更刺痛公众的，是911报警电话的失效。加拿大无线911呼叫由运营商网络接续到公共安全应答点（PSAP），罗杰斯承载网瘫痪后，其用户的911呼叫大量无法完成。多地警方一度发布公告，教市民改用座机或其他运营商手机报警——这对一个现代电信网络是相当难堪的一幕。 独立评估报告把应急通信列为重点议题，核心结论是：**911作为关键业务的生存性，不能与商业网络绑定在同一个故障域里**。此后加拿大的整改方向包括：推动下一代911（NG911）体系下更独立、多路径的应急呼叫路由，以及CRTC对运营商应急通信冗余的更高要求。罗杰斯自身也承诺了增强911路由的冗余设计。 站在核心网工程师角度，这里有一个值得写进方案评审清单的问题：你的网络里，哪些业务是“断网时必须还活着”的？它们与普通商业流量之间，物理隔离了吗？逻辑隔离了吗？演练过吗？如果答案都是沉默，那罗杰斯的故事随时可能在你网上重演。 ## 六、处置与整改：监管把可靠性写进了并购协议 事故处置层面，罗杰斯的表现谈不上高效，但至少透明。CEO托尼·斯塔菲耶里（Tony Staffieri）公开道歉，事后对用户做了账单折抵补偿。技术层面，全网恢复耗时约19小时，主要是前述“逐台稳定、逐段验证”的恢复方式所限。 监管层面的动作则快而重： 1. **国会质询与部长问责**。事故发生后第三个工作日，联邦工业部长即公开要求罗杰斯提交详细解释，国会工业委员会召集聚istrator作证，罗杰斯与贝尔、Telus三家CEO同台接受质询。 2. **政府委托独立评估**。2022年10月发布的第三方报告，不仅还原根因，还提出了多项系统性建议，覆盖网络架构多样性、变更管理、应急通信冗余和故障透明度。 3. **重大故障强制报告**。CRTC在此后推动了运营商重大断网的强制上报机制，要求在事故发生后两小时内向监管报告——把“故障知情权”从事后新闻稿变成了硬性义务。 4. **可靠性进入并购条件**。2023年3月，罗杰斯260亿加元收购萧氏的交易获联邦批准，网络可靠性与西部投资成为附带承诺的一部分。故障处置直接影响了加拿大电信业格局的走向，这在行业史上并不多见。 5. **架构整改承诺**。罗杰斯公开承诺推进无线网与有线网承载的架构分离，降低同生共死的风险。 值得记录的是，整改并非一劳永逸：据报道，2023年4月初罗杰斯再度发生波及全国的移动网故障，持续了大半天。大网的可靠性没有银弹，只有持续投入——这大概是这两次事故放在一起最诚实的注脚。 ## 七、写给核心网工程师的七条血泪清单 作为在核心网和运维一线干了18年的人，我把这次事故的教训压缩成七条可以直接拿去评审会上用的清单： 1. **过滤器类变更是最高危变更**。路由策略、过滤规则、最大前缀限制（max-prefix）这类“决定设备胃口”的配置，一旦配错，等于亲手拆掉设备的防波堤。此类变更必须双人复核、预校验、明确回退步骤，并在变更窗口内实时监控路由表规模曲线。 2. **路由域必须分层，故障必须有爆炸半径**。内部路由协议设计要回答一个问题：最坏情况下，一个区域的故障最远能传多远？如果答案是“全网”，这个设计就没有及格。区域隔离、路由汇总、策略白名单，都是给故障修防火墙。 3. **设备要失效安全，而不是失效崩溃**。路由表超限时，理想行为是“拒绝新增路由并告警”，而不是“整卡崩溃”。选型时把过限行为当作硬指标考察，而不是只看转发面性能。 4. **带外管理网必须真带外**。全网瘫痪时，依赖生产网的管理通道必然同生共死。罗杰斯抢修缓慢的原因之一，就是工程师在“网络不可用”的状态下操作网络。独立物理通道的OOB（带外管理）平时是成本，故障时是命。 5. **关键业务与商业流量不同生死**。911、计费、DNS、网管，这些“断网时必须活着”的系统，要在物理和逻辑上与商业承载分离，并定期演练。 6. **递归DNS要有互备与限流设计**。自有递归、对等互备、公共回落三层兜底，并对恢复期的查询回涌预置限流——Cloudflare记录的那次“回涌二次冲击”就是没做这一步的代价。 7. **恢复要有预案，而不是现场发明**。分区恢复、语音优先、容量预留（尤其是海量终端重注册风暴的容量），都要写成runbook并演练。两年前KDDI断网时千万台手机同时重连挤爆核心网的场景，和这里的路由重汇聚，本质是同一类问题：**恢复期的网络比故障期更脆弱**。 ## 八、结语：大网没有小事 罗杰斯断网的根因，说出来平淡得让人失望：一次维护变更、一条失守的路由过滤、一组过载的区域路由器。没有任何环节是“惊天动地”的单点，但它们串在一起，就是一个国家级的19小时。 这就是大网运维的残酷之处：**可靠性不是某个天才设计的功劳，而是无数平庸细节的乘积**——任何一项归零，整体归零。变更管理的每一次双人复核，路由域的每一道隔离边界，带外网的每一米光纤，平时都像浪费，故障时都是悬崖边的护栏。 加拿大监管后来把重大故障两小时上报写进了规则，把可靠性写进了并购条件。对全球同行而言，罗杰斯案例最值得带走的一句话是：当你的网络规模大到“国家基础设施”级别时，你就不能再按“一家公司”的标准做架构决策。因为断网那19个小时里，痛的不只是运营商的KPI，还有打不出去的911、刷不出去的饭钱，和一个国家被迫停摆的星期五。 ## 参考来源 1. [Inside the Rogers outage — Cloudflare官方技术博客](https://blog.cloudflare.com/inside-the-rogers-outage/) — Cloudflare以全球观测点视角记录罗杰斯BGP路由撤销、流量归零与DNS查询转移的全过程，本文路由层细节的主要锚点 2. [加拿大创新科技与工业部（ISED）官方网站](https://ised-isde.canada.ca) — 政府委托的罗杰斯断网独立评估报告（2022年10月发布）发布渠道，根因细节与整改建议的官方来源 3. [Rogers官方新闻室](https://about.rogers.com/news-ideas/) — 罗杰斯关于本次故障的历次官方通报与致歉声明 4. [CRTC加拿大广播电视及电信委员会](https://crtc.gc.ca) — 重大故障强制报告机制与应急通信整改的监管文件来源 5. [CBC News 科技报道](https://www.cbc.ca/news) — 国会质询、Interac停摆、警方911公告等社会影响的当地报道 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。