2022年7月8日凌晨4点45分（加拿大东部时间），加拿大最大的运营商之一罗杰斯（Rogers Communications）在核心IP承载网一次七阶段升级的第六阶段中，删除了分发层路由器上的一条路由过滤器。几分钟后，全表互联网路由涌入核心路由器，设备超限崩溃，BGP路由全网撤回，超过1200万用户失联——约占加拿大全国四分之一的互联网连接一夜消失，911报警电话打不通，全国商户的借记卡刷卡全面瘫痪。本文依据罗杰斯致CRTC（加拿大广播电视及电信委员会）的信函、Cloudflare的第三方路由观测报告以及CRTC于2024年7月发布的独立评估执行摘要，按时间线复盘这起事故的根因、影响、处置与整改，并提炼对国内同行的可迁移教训。 ## 目录 - 一、7月8日：从一条过滤器消失开始 - 二、根因：一条路由过滤器，怎么掀翻一张全国网 - 三、影响面：一次断网如何演变成社会事件 - 四、为什么恢复用了约19个小时 - 五、善后与整改：2.61亿美元拆网与监管三板斧 - 六、十八年老兵的五条教训 - 结语 ## 一、7月8日：从一条过滤器消失开始 先把官方口径的时间线摆出来。这份时间线综合了罗杰斯事后致CRTC的信函内容、CEO托尼·斯塔菲耶里（Tony Staffieri）7月10日的全员致歉信，以及CBC、路透社等媒体的连续报道： | 时间（2022年） | 事件 | | --- | --- | | 7月8日 4:45 a.m.（EDT） | 核心IP网七阶段升级执行至第六阶段，分发路由器上的路由过滤器被删除，全表路由涌入核心网，设备过载崩溃，全国性故障爆发 | | 7月8日 清晨 | 移动与宽带业务全面失联；911呼叫、Interac借记交易、政府服务陆续告警；公司内部VPN同时中断，远程运维失效 | | 7月8日 6:00 a.m. | CTO豪尔赫·费尔南德斯（Jorge Fernandes）联络竞争对手Bell与Telus的技术高层通报故障，并提醒防范网络攻击；两家承诺支援 | | 7月8日 白天 | Public Safety Canada排除网络攻击；确认根因为内部维护升级导致路由器故障 | | 7月8日 当晚 | 开始分区分批恢复；CEO表示无法给出完全恢复时间 | | 7月9日 | 宣布“绝大多数”用户业务恢复，个别区域仍有残留问题 | | 7月11日 | 联邦创新部长商鹏飞（Fransois-Philippe Champagne）约谈七大运营商CEO，宣布互助支援、紧急漫游、公众通报三项新政策，限期60天落地 | | 7月21日 | 媒体证实CTO费尔南德斯被罗恩·麦肯齐（Ron McKenzie）接替 | | 8月25日 | 罗杰斯宣布投入2.61亿美元物理拆分无线与有线核心网 | | 2024年7月 | CRTC发布针对本次断网的独立韧性评估执行摘要 | 值得注意的是，这并不是罗杰斯第一次全国性瘫网。2021年4月19日，其网络因软件更新问题全国中断近一整天。2022年这次是14个月内的第二次全国级事故，这也是为什么监管和舆论的耐心在7月8日当天就耗尽了——事故当日上午，内部邮件已要求零售门店撤下“加拿大最可靠5G网络”的宣传物料。 ## 二、根因：一条路由过滤器，怎么掀翻一张全国网 这部分是全文的技术核心，主锚点是两份文件：一是罗杰斯致CRTC的信函（经《金融邮报》等媒体公开），二是Cloudflare工程师于事发当日发布的路由层观测报告《Cloudflare's view of the Rogers Communications outage in Canada》（blog.cloudflare.com/rogers-outage-analysis/）。 **第一层：过滤器被删，全表灌入。** 罗杰斯在信中承认，故障发生在其核心IP网七阶段升级计划的第六阶段。分发层路由器上原本配置着一条路由过滤，作用是约束向上传递的路由规模——这是大型承载网的常规防线：核心路由器的转发资源（FIB/TCAM）和控制平面资源是按本网规模设计的，不是按“互联网全表”设计的。2022年年中，IPv4全球BGP表已逼近90万条（CIDR Report公开统计），一旦过滤被移除，“所有可能的互联网路由”涌向核心路由器，容量瞬间被击穿。 **第二层：设备崩溃引发路由撤回。** 核心路由器过载崩溃后，BGP会话中断，向全网邻居撤回路由。Cloudflare的观测显示，罗杰斯（AS812）的IP前缀在数小时内从全球路由表中批量消失，同时BGP更新消息出现异常尖峰——用Cloudflare的话说，其他网络“找不到罗杰斯了”。这就是Netblocks测得“加拿大约25%互联网连接中断”的路由层证据：不是链路断了，而是整张网在路由层面“隐身”。 **第三层：管理平面同归于尽。** 这是本案例最刺眼的放大器：罗杰斯员工的远程办公VPN、部分内部运维系统，同样跑在自家承载网上。业务网一瘫，运维的手也被砍断——工程师既看不到网元，也登不上平台。事后披露的细节是：部分员工靠2015年起与其他运营商建立互惠协议而配发的“应急SIM卡”在对手网络上保持联络，另一些员工则驱车赶往集中办公点重建接入。 **第四层：恢复比故障更危险。** 路由重新收敛时，积压近一天的终端附着请求、会话重建请求和信令同时回涌，网络在半恢复状态下再度承压。这是历次大断网（docomo 2012年拥塞、软银历次重构故障）反复验证过的规律：恢复期是第二个事故窗口，往往决定总时长是10小时还是19小时。 ```mermaid flowchart TD A["核心IP网七阶段升级第六阶段"] --> B["分发路由器路由过滤器被删除"] B --> C["全表路由涌入核心路由器"] C --> D["核心路由器超限崩溃"] D --> E["BGP路由全网撤回"] E --> F["罗杰斯从全球路由表消失"] F --> G["内部VPN同瘫，远程运维中断"] F --> H["终端附着与信令积压"] G --> I["只能靠应急SIM与现场集结"] H --> J["恢复期流量回涌二次冲击"] I --> K["总时长拉长至约19小时"] J --> K ``` 需要说明的是，媒体报道中还提到过核心网边缘设备（ERS）层面的问题，本文以罗杰斯致CRTC信函中自认的“路由过滤器删除导致全表灌入”为准；更细粒度的设备型号与配置细节，官方未完整公开，不做推测。 ## 三、影响面：一次断网如何演变成社会事件 如果只是网民上不了网，这起事故不会惊动联邦内阁。它真正可怕的地方在于**外溢**——大量与罗杰斯没有直接合同关系的社会系统，因为单一运营商依赖而被拖下水： - **支付清零**：Interac借记清算依赖罗杰斯网络，导致全国商户无论用什么宽带，都刷不了借记卡。这是本次事故最广为人知的画面：小店挂出“只收现金”，部分店铺直接关门。 - **911失效**：罗杰斯网内手机拨打911受阻。CBC后来报道了汉密尔顿一名男子因无法拨通911、眼睁睁看着妹妹离世的案例——死者与断网的因果关系未经官方认定，但集体诉讼已把“911不可用”列为核心指控，要求每人400加元赔偿。 - **政府停摆**：Service Canada、税务局、护照办公室的部分服务中断。 - **市政瘫痪**：多伦多市约四分之一的交通信号灯依赖罗杰斯蜂窝网做配时联动，市政建筑的消防报警与喷淋远程监控、公共停车缴费、公共单车也一并失效。 - **医疗与民生**：尼亚加拉医疗系统被迫重新安排肿瘤放疗预约，急症患者转移至汉密尔顿的医院；The Weeknd当晚在罗杰斯中心的演唱会因“场馆运营系统受断网影响”被迫延期。 - **经济损失**：彭博援引的测算显示，断网期间对加拿大经济造成的损失约1.42亿加元；加拿大独立企业联合会（CFIB）报告小企业单户损失从数百到数千加元不等，并要求罗杰斯赔付一个月免费服务。 一份内部粗算可以说明问题的量级：1200万直连用户之外，还有TekSavvy等批发接入ISP的用户、以及所有“借道罗杰斯”的行业系统用户。单一故障域一旦足够大，断网就不再是电信事故，而是公共安全事件。 ## 四、为什么恢复用了约19个小时 很多人第一个疑问是：路由过滤器重新加上、路由器重启收敛，不就完了吗？为什么拖了约19个小时（部分用户的问题持续数日）？复盘下来有四个互相咬合的原因： 1. **看不见网**。内部VPN中断导致远程运维失效，故障定位、变更回退都只能靠应急SIM和人员物理集结完成，指挥链条的前几个小时基本在“盲修”。 2. **用户数据库不可达**。移动用户的签约与鉴权数据在罗杰斯自己的核心网里，网络瘫痪期间连“把用户切到别人网上”这个动作的数据基础都不存在。 3. **对手想帮也帮不动**。Bell和Telus在当天上午即表态支援，但一个突然涌入的千万级用户群，会把任何一张健康网络直接压垮——这在国际漫游与紧急漫游的容量设计上是真问题，不是一句“共享网络”就能带过的。 4. **恢复期信令风暴**。如前所述，恢复过程必须分区、分批、限速地进行，宁可慢，也不能让二次拥塞把刚爬起来的网再摁下去。 从我个人的核心网运维经验看，第1条和第2条是同一类错误的两个表现：**把管理平面、签约数据平面、业务承载平面放在了同一个故障域里**。变更剧本里可以有一百道审批，但如果带外管理通道和签约数据的高可用设计没过关，一切审批都是在赌概率——罗杰斯14个月内赌输两次。 ## 五、善后与整改：2.61亿美元拆网与监管三板斧 **公司层面**，罗杰斯的动作又快又重，其中也有商业考量——当时其正在推动对Shaw Communications的收购，这起事故被批评者当作反对行业进一步集中的最佳论据。8月25日公布的整改方案包括：投入2.61亿美元将无线与有线核心网物理分离（防止一次故障同时掀翻移动与固网两张业务面）；向客户发放累计约1.5亿加元的服务积分，并为全体客户减免5天费用（媒体估算这部分在2800万至7000万加元之间）；加上管理强化与AI辅助监控，构成一个三年期、总额约100亿加元的网络韧性投入计划。人事上，CTO费尔南德斯于7月21日被罗恩·麦肯齐取代。 **行业层面**，罗杰斯于9月向联邦创新科技部（ISED）牵头提交了运营商间的《电信可靠性谅解备忘录》（MoU），把断网时的互助协作机制化——这在北美运营商“各自为战、互为对手”的传统里是个罕见动作。 **监管层面**，商鹏飞部长在事发后第3天（7月11日）约谈罗杰斯、Bell、Telus、Shaw、Vidéotron、SaskTel、EastLink七家公司CEO，宣布三项强制性政策：所有电信商在对方断网时必须提供互助支援；必须向对手的受灾用户提供紧急漫游；必须建立面向公众的故障通报机制，限期60天内签署落地协议。更深远的是，CRTC委托第三方对罗杰斯网络进行独立韧性评估，并于2024年7月发布执行摘要——《Assessment of Rogers Networks for Resiliency and Reliability Following the 8 July 2022 Outage》。监管从“事后问责”走向“常态化韧性体检”，这是本次事故对全球监管者的示范意义：断网罚款解决不了架构问题，架构问题要用架构改造验收来闭环。 ```text timeline title 罗杰斯7·8断网：事故与整改双线时间线 2022-07-08 : 4:45过滤器删除故障爆发 : 911与Interac瘫痪 : CTO联络Bell与Telus : 当晚开始分区恢复 2022-07-11 : 部长约谈七大运营商 : 互助支援紧急漫游通报机制三箭齐发 2022-08-25 : 宣布2.61亿美元拆分无线与有线核心网 : 客户积分与五天话费减免 2022-09 : 向ISED提交运营商间可靠性谅解备忘录 2024-07 : CRTC发布独立韧性评估执行摘要 ``` ## 六、十八年老兵的五条教训 最后，把这次事故翻译成国内同行可以直接对照自查的五条，不谈概念，只谈动作： 1. **变更窗口里，每一行配置都是刀口**。一条路由过滤器的删除，能在6分钟内演变成全国事故。路由策略类变更（filter、policy、summary）的风险不在于“改错参数”，而在于**移除一道防线**后系统暴露在未设计的流量形态下。任何过滤器类变更，都应先做“删除后路由规模推演”，并保留单命令级秒级回退脚本——不是回退到上一版本，是回退到上一条命令。 2. **分阶段变更不等于灰度生效**。罗杰斯的升级计划明明分了七个阶段，为什么第六阶段还能出全国事故？因为阶段划分的是“实施顺序”，不是“爆炸半径”。真正的灰度要看：这一阶段变更影响的用户面、信令面、管理面是否被物理隔离。七阶段全在同一条核心骨干上做，等于零灰度。 3. **带外管理通道是保命通道，必须异构**。VPN跑在自家网上，等于把保险箱钥匙锁进保险箱。NOC到核心网元的远程通道，至少要有一条走异构承载（另一家运营商专线、卫星备份或4G/5G异网通道），并每年实兵演练一次——罗杰斯2015年建立的应急SIM互惠机制在这次事故中发挥了作用，证明这类“平时看似多余”的投资是值的。 4. **恢复预案与故障预案同等重要**。断网后的第二个高峰是恢复期。分区恢复顺序、终端附着限速、信令拥塞预案、客户通报节奏，都应当在故障发生前写成剧本。19小时里有相当一部分时间，花在了“边恢复边防二次塌方”上。 5. **单一运营商依赖是社会治理问题，不只是商务问题**。多伦多四分之一的红绿灯、全国借记清算都压在一家运营商身上，这是本次事故损失指数级放大的根源。国内新基建项目做单联网、政务服务上云选线时，“双路由异网异构”应作为硬性验收项写进标准，而不是商务谈判里的可选项。 ## 结语 罗杰斯7·8事故的特殊价值在于它的**完整性**：根因小到一条配置，放大链路完整展示了“配置变更→设备超限→路由撤回→管理面失能→恢复风暴”的全链条，整改则覆盖了架构（拆网）、机制（MoU）、监管（三项政策加独立评估）三个层面。两年后CRTC独立评估报告的发布，说明加拿大监管已把它当作一个持续数年的韧性改造工程来管理，而非一次性罚款了事。对我们而言，最值得记住的画面不是1200万用户的黑屏，而是那群揣着对手SIM卡、连夜驱车赶往机房、却因为自家VPN瘫痪而登不上网元的工程师——**运维保障体系的第一考核项，永远是“网络瘫痪时你还能不能管住网络”**。 ## 参考来源 2. [Cloudflare's view of the Rogers Communications outage in Canada - The Cloudflare Blog](https://blog.cloudflare.com/rogers-outage-analysis/) — BGP路由撤回与更新风暴的第三方路由层观测 3. [Assessment of Rogers Networks for Resiliency and Reliability Following the 8 July 2022 Outage: Executive Summary - CRTC（2024年7月）](https://crtc.gc.ca/eng/home-portal.htm) — CRTC委托的独立韧性评估执行摘要（CRTC官网可查） 4. [Memorandum of Understanding on Telecommunications Reliability - ISED Canada（2022年9月）](https://ised-isde.canada.ca/) — 运营商间电信可靠性谅解备忘录 5. [Rogers to credit customers with five days of service after massive outage - Reuters（2022年7月12日）](https://www.reuters.com/) — 赔偿方案与监管回应的即时报道 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。