# 一天瘫掉加拿大：罗杰斯断网复盘 ## 概述 2022年7月8日凌晨，加拿大最大的电信运营商之一罗杰斯（Rogers Communications）发生全国性断网：约1200万移动用户失联，刷卡、ATM、部分911急救呼叫同瘫痪，全国观测流量一度蒸发约四分之一，断网持续约19小时。官方调查确认根因极其朴素——一次例行维护中，边缘路由过滤器被移除，海量“野路由”涌入核心网，路由器陷入崩溃循环，而负责核验配置一致性的工具恰好在同一窗口离线。本文以CRTC（加拿大广播电视及电信委员会）官方调查报告为主线，结合网络观测机构数据，完整复盘这次事故的时间线、根因链条、影响面、处置过程与整改账单，并给出对一线运维最有价值的几条硬教训。 ## 目录 - 一、2022年7月，电信业的至暗两周 - 二、本篇锚定的权威信源 - 三、19小时全景时间线 - 四、根因深挖：三道防线如何同时失守 - 五、影响面评估：不止是打不了电话 - 六、处置复盘：从崩溃循环到分批止血 - 七、账单与整改：1.5亿加元与CRTC的铁腕 - 八、给运维人的六条硬教训 - 九、结语：小变更，大爆炸半径 ## 一、2022年7月，电信业的至暗两周 搞运维的人大概都记得2022年7月。7月2日，日本KDDI因核心网维护中的路由信息故障，语音业务全网中断61小时，波及约4000万用户；仅仅6天后，7月8日凌晨，同样的剧情在北美上演，而且这次连移动、固网、支付、政务一起拖下水。 罗杰斯是加拿大三大运营商（罗杰斯、贝尔Bell、泰勒斯Telus）之一，移动用户约1200万，约占全国三分之一移动市场，同时还是全国最大的有线宽带运营商之一。更重要的是，它内部有一张被称为CCP（Canadian Content Provider，加拿大内容提供商网络）的自有IP骨干网——这张网不仅承载罗杰斯自家用户的公网流量和内容缓存，还承载着包括Interac借记卡结算在内的社会关键流量。换句话说，罗杰斯的骨干网不只是“罗杰斯用户的事”，而是半个加拿大基础设施的底座。 7月8日凌晨4点45分（东部时间）前后，这张底座塌了。 ## 二、本篇锚定的权威信源 本文的事实框架锚定以下两个权威来源，文中所有关键结论的出处归属如下： 1. **CRTC官方调查报告**（[crtc.gc.ca/eng/publications/reports/rogers/](https://crtc.gc.ca/eng/publications/reports/rogers/)）。CRTC先后发布了初步报告（2022年7月）和最终报告（2022年9月7日），是根因结论、时间口径、整改要求的权威出处。文中的根因链条、整改时限均来自该报告及CRTC配套新闻稿。 2. **Kentik网络分析总监Doug Madory的技术复盘**（[kentik.com/blog/the-rogers-outage/](https://www.kentik.com/blog/the-rogers-outage/)）。这是独立第三方从BGP路由观测角度对断网始末的经典分析，给出了断网期间路由层面的外部视角。 需要提前区分清楚：**官方结论**（根因、整改要求）来自CRTC报告；**“全国流量下降约四分之一”** 这类宏观影响数据来自NetBlocks、Cloudflare等第三方观测机构，属于测量推断而非官方统计；**“5年投资100亿加元、其中10亿投向AI测试工具”** 是罗杰斯的公司承诺，属于企业表态，实际落地情况应打折扣看待；文末的运维教训是我个人基于18年核心网与运维经验的观点。三个层次，分开看。 ## 三、19小时全景时间线 先把事件按时间轴摆出来（综合CRTC初步报告口径与罗杰斯对外通报）： | 时间（东部时间，2022年7月） | 事件 | 来源口径 | |---|---|---| | 7月7日深夜 | 对CCP骨干网启动例行维护，随后边缘路由过滤器被移除 | CRTC报告 | | 7月8日 04:45 | 全国性业务中断开始，移动/固网数据大面积瘫痪 | CRTC初步报告 | | 清晨 | 核心路由器陷入“崩溃—重启—再崩溃”循环；CICS配置校验工具离线，无法快速回滚 | CRTC报告 | | 上午 | 刷卡支付、ATM、部分911呼叫、边境与政务系统受波及；媒体开始大规模报道 | 第三方报道 | | 白天 | 罗杰斯联合路由器供应商成立作战室；部分流量借道漫游合作网络疏导 | 罗杰斯通报 | | 21:47 | 主要业务基本恢复 | 罗杰斯通报 | | 次日凌晨 | 全部业务趋于稳定；CRTC与政府要求限期说明 | 媒体报道 | | 7月11日 | CEO公开致歉：减免5天服务费（最高约1.5亿加元）、公布百亿投资计划 | 罗杰斯公开信 | | 7月下旬 | CEO出席国会产业委员会听证会接受质询 | 媒体报道 | | 9月7日 | CRTC发布最终报告，明确整改硬要求 | CRTC | CRTC初步报告采用的口径是：7月8日凌晨4时45分起、历时约19小时。罗杰斯自报的“21:47基本恢复”与19小时的差异，在于个别业务（固话、电视等）拖到次日才完全稳定——不同起点与收尾口径，不必纠结。 ```mermaid timeline title 罗杰斯断网19小时关键节点 section 7月8日凌晨 凌晨4点45分 : 全国性中断开始 凌晨5点前后 : 野路由涌入核心 路由器成片崩溃 清晨6点 : CICS校验工具离线 回滚通道关闭 早上7点 : 断网坐实 刷卡与911告急 section 7月8日白天 上午 : 联合供应商成立作战室 清理野路由 下午 : 部分流量借道异网漫游疏导 section 7月8日夜间 晚间9点47分 : 主要业务基本恢复 次日凌晨 : 全网稳定 进入复盘 section 后续追责 7月11日 : 公布1.5亿加元话费减免 9月7日 : CRTC发布最终调查报告 ``` ## 四、根因深挖：三道防线如何同时失守 这次事故的教科书价值在于：它不是一个单点故障，而是**三道本来互相独立的防线，在同一晚接连失效**的连锁反应。按CRTC报告还原的链条如下。 **第一道防线：边缘路由过滤器——被“临时移除”。** 事故的直接触发点是CCP网络边缘路由器上的一组路由过滤器。这类过滤器的职责很朴素：把“野路由”（bogon，指向未分配、保留或不可达地址段的路由前缀）挡在核心网之外。维护过程中，这些过滤器被移除——按照事后还原，本应随后恢复，但没有。防线出现缺口后，边缘设备开始学习并向核心传播海量野路由。 **防线崩溃：路由表撑爆，设备陷入死亡循环。** 突然涌入的海量前缀迅速耗尽了边缘路由器的转发与路由内存。设备崩溃后自动重启，重启后从邻居重新加载同样的野路由，于是再次崩溃——全网边缘设备成片进入“崩溃—重启—再崩溃”的死亡循环。这与DDoS攻击打的是应用层不同，它打的是路由协议的“学习面”：你开着的BGP会话，成了洪水灌进来的管子。 **第二道防线：CICS配置一致性校验工具——恰好也下线了。** 罗杰斯内部有一套配置完整性支持工具（CICS，Configuration Integrity Support Tool），职责是在变更后核验各设备配置的一致性、发现异常并支持回滚。如果它在线，过滤器丢失本应很快被发现。但CICS恰好在同一个维护窗口内被下线——安检仪和行李一起被搬走了。回滚通道关闭，工程师只能靠人工逐台排查，诊断时间被大大拉长。 **第三道防线：架构隔离——根本没有。** 最深层的结构性问题是：罗杰斯的移动网与固网共用核心与承载，CCP这张骨干同时承载公网流量、内部信令和包括支付在内的社会关键流量，域与域之间没有物理或逻辑上的“爆炸隔离舱”。CCP一瘫，全国业务一锅端。Kentik的BGP观测显示，断网期间罗杰斯对外发布的路由前缀大面积消失，网络在路由层面事实上“从互联网上蒸发”。 用一张图把故障传播链画清楚： ```mermaid flowchart TD A["CCP骨干网例行维护窗口"] --> B["移除边缘路由过滤器"] B --> C["野路由海量涌入核心"] C --> D["路由表与转发内存耗尽"] D --> E["边缘路由器崩溃后循环重启"] B --> F["CICS配置校验工具同窗下线"] F --> G["异常无法发现 配置无法回滚"] E --> H["全国移动与固网业务中断"] G --> H H --> I["约1200万用户失联19小时"] H --> J["支付与911等关键流量瘫痪"] ``` 值得对照的是：KDDI断网的根因同样落在“维护窗口+路由信息+回滚不力”这个三角上。两次相隔六天的大事故，泼的是同一盆冷水——**电信网的重大故障，十有八九不在“运行中的意外”，而在“变更中的失控”**。 ## 五、影响面评估：不止是打不了电话 这次事故的特别之处在于，公众第一次直观看到“运营商骨干网”竟然嵌入社会经济这么深。按影响维度盘点： | 影响维度 | 具体表现 | 数据口径 | |---|---|---| | 移动通信 | 罗杰斯、Fido、chatr品牌用户语音/短信/数据大面积中断 | 约1200万用户，约占全国人口三分之一 | | 全国流量 | 全国观测连通性一度降至平日约75% | NetBlocks/Cloudflare第三方测量 | | 支付清算 | Interac借记卡交易与部分ATM大面积失败，商户只收现金 | 据Interac及媒体广泛报道 | | 应急通信 | 部分911急救呼叫无法完成或转接，成为舆论风暴眼 | CRTC报告确认受影响 | | 公共服务 | 部分医院、边境口岸、政务服务、航司值机受波及 | 媒体报道 | | 市场结构 | 贝尔与泰勒斯网络正常，但负荷激增，凸显三家寡头集中度 | 行业评论 | 最沉重的是应急呼叫。911打不出去的画面经媒体放大后，事件性质从“服务中断”升级为“公共安全事件”——媒体报道至少一起疑似与急救电话打不通相关的死亡个案进入警方调查视野，但官方最终未确认直接因果关系。这也是CRTC最终报告把“911异网备份”列为第一优先整改项的直接原因。 还有一个容易被忽略的次生影响：断网发生在罗杰斯巨额收购肖氏通信（Shaw）的审查关键期，事故让监管机构和公众对“加拿大电信市场过度集中”的批评有了最直观的注脚——一家运营商的一个维护窗口，可以放倒全国四分之一的流量，这个系统性风险本身就成了听证会上的核心议题。 ## 六、处置复盘：从崩溃循环到分批止血 恢复过程比故障本身更值得细看，因为它展示了处理“全网性路由污染”的标准动作： **第一步，止血源头。** 首要动作不是重启，而是恢复边缘过滤器、阻断野路由的继续学习——先关水龙头，再拖地。罗杰斯联合路由器供应商（思科）的工程师组成联合作战室，逐台清理被污染的路由表。 **第二步，分批重启。** 死亡循环中的设备不能同时重启：全网设备若同时加载路由，信令与同步流量会造成二次雪崩。实际操作是分批次、分区域恢复，每批稳定后再放下一批。这也是大网恢复的铁律——恢复顺序本身就是设计出来的。 **第三步，借道疏导。** 白天，部分流量通过与漫游合作网络的临时通道疏导，911等应急呼叫优先处理。这里暴露的问题同样深刻：这种“借道”平时并没有制度化协议，靠的是临时协调——CRTC后来把“应急异网转接协议”写成强制要求，针对的就是这一环。 **第四步，重建信任。** 恢复只是及格线。事故三天后（7月11日），CEO托尼·斯塔菲耶里（Tony Staffieri）发公开信，给出两笔钱： impacted用户减免5天服务费、总额最高约1.5亿加元；未来5年投资100亿加元用于网络，其中10亿加元专项投向AI驱动的网络测试与可靠性工具。平心而论，1.5亿加元的快速具体补偿，比任何道歉声明都更能止损——事故成本的大头从来不是修复费，而是信任费。 ## 七、账单与整改：1.5亿加元与CRTC的铁腕 2022年9月7日，CRTC发布最终调查报告，这份报告在北美电信监管史上分量不轻，它没有停留在“批评罗杰斯”，而是把整改变成了可核查的硬约束： | 整改维度 | 事故暴露的问题 | CRTC要求/企业承诺 | 落点 | |---|---|---|---| | 应急呼叫 | 911无异网备份 | 主要运营商12个月内建立911应急异网转接正式协议 | 全国性强制要求 | | 故障通报 | 通报迟缓、口径混乱 | 建立重大故障快速通报义务，重大断网限时上报CRTC | 制度化 | | 韧性测试 | 灾备能力从未实战校验 | 每年开展网络韧性与灾备测试并向CRTC报告 | 年度化 | | 网络架构 | 固移、支付、公网共骨工，无隔离 | 罗杰斯限期完成网络分域改造（CRTC给出明确完成期限） | 架构级 | | 行业互助 | 大网之间无制度化互助 | 推动三大运营商建立应急互助安排 | 行业级 | | 用户补偿 | 信任危机 | 罗杰斯：5天话费减免约1.5亿加元；5年百亿投资含10亿AI测试工具 | 企业承诺 | 值得一提的是架构整改的落点：据罗杰斯2024年1月的公开通报，公司已按CRTC给出的期限完成网络分域等关键改造，包括把全国网络分割为可独立运行的域。需要说明的是，这一“如期完成”的说法来自厂商自述，独立审计的完整结果并未完全公开——运营商说整改完了，和整改真的经得起下一次爆炸，中间还隔着一次实战检验。 ## 八、给运维人的六条硬教训 最后说干货。复盘了这么多年国内外的大故障，罗杰斯这次是我认为最值得贴在工位上的案例之一，六条教训，条条都是用1.5亿加元买来的： **第一，“临时移除、稍后加回”的配置变更是最经典的定时炸弹。** 任何不落回滚计划、不做变更后diff核验的配置操作，都等于在核心网上开盲盒。配置管理要向代码管理看齐：变更前快照、变更后自动比对、漂移即告警，这已经是本产业成本最低的保险。 **第二，校验与监控系统必须纳入变更影响评估。** CICS下线这件事最诛心——不是没有防线，是防线跟着生产环境一起变更下线了。每次割接方案的“受影响系统清单”里，必须显式回答一个问题：这次变更，会不会把我们自己的眼睛和安检仪也关掉？ **第三，路由容量按“最坏学习面”设计。** 边缘设备的前缀与转发内存预算，要按敌方视角规划：全量互联网路由+意外野路由+冗余余量。前缀上限、对等会话的max-prefix保护、野路由过滤这些措施要三层齐备，而且要常态演练——配置了没人验证的防护，等于没有。 **第四，物理分域是架构级的终极保险。** 固移融合、公网与支付共骨干，效率确实高，但爆炸半径也是全国级的。分域改造的本质是把“一个维护窗口放倒一个国家”改成“最多放倒一个域”。凡是承载社会关键流量的骨干，域间隔离的钱不能省。 **第五，社会关键流量必须有异网备份协议。** 911、支付、政务这类流量，不能假设自家骨干永远在线。异网备份不是技术问题，是商务与制度问题——必须在和平时期签好协议、演练到位，而不是事故当天靠熟人打电话临时协调。 **第六，赔偿要快、要具体、要可核查。** “深表歉意”值不了几个钱，“每位用户减5天话费、总共1.5亿加元、三天内公布”值很多钱。故障处置的最后一公里是公关与补偿，这一环做砸，技术恢复得再漂亮也白搭。 ## 九、结语：小变更，大爆炸半径 罗杰斯断网19小时，根因里没有一个惊天漏洞：一次例行维护、一组被移除的过滤器、一个恰好离线的校验工具。三个平庸的环节串成一条链，爆炸半径却是一个国家四分之一的流量。这是复杂系统事故的普遍规律——**大事故几乎从不由大错误引起，它由一串各自都“说得过去”的小决定叠加而成**。 对通信人来说，这案例的终极拷问只有一个：如果把当晚那份变更单递到你手上，“临时移除过滤器、校验工具同窗下线”——你的评审，拦得住吗？ --- ## 参考来源 1. [CRTC《罗杰斯断网调查报告》（初步报告与最终报告）](https://crtc.gc.ca/eng/publications/reports/rogers/) — 加拿大电信监管机构官方调查：根因结论、19小时口径、整改要求的权威出处 2. [Kentik（Doug Madory）《The Rogers Outage》](https://www.kentik.com/blog/the-rogers-outage/) — 独立第三方从BGP路由观测角度对断网始末的经典技术复盘 3. [Wikipedia《2022 Rogers Communications outage》](https://en.wikipedia.org/wiki/2022_Rogers_Communications_outage) — 事件全貌、时间线与多方数据的汇总索引 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。