2022年7月8日凌晨4点45分(加拿大东部时间),加拿大最大的运营商之一罗杰斯(Rogers Communications)在核心IP承载网一次七阶段升级的第六阶段中,删除了分发层路由器上的一条路由过滤器。几分钟后,全表互联网路由涌入核心路由器,设备超限崩溃,BGP路由全网撤回,超过1200万用户失联——约占加拿大全国四分之一的互联网连接一夜消失,911报警电话打不通,全国商户的借记卡刷卡全面瘫痪。本文依据罗杰斯致CRTC(加拿大广播电视及电信委员会)的信函、Cloudflare的第三方路由观测报告以及CRTC于2024年7月发布的独立评估执行摘要,按时间线复盘这起事故的根因、影响、处置与整改,并提炼对国内同行的可迁移教训。
先把官方口径的时间线摆出来。这份时间线综合了罗杰斯事后致CRTC的信函内容、CEO托尼·斯塔菲耶里(Tony Staffieri)7月10日的全员致歉信,以及CBC、路透社等媒体的连续报道:
| 时间(2022年) | 事件 |
|---|---|
| 7月8日 4:45 a.m.(EDT) | 核心IP网七阶段升级执行至第六阶段,分发路由器上的路由过滤器被删除,全表路由涌入核心网,设备过载崩溃,全国性故障爆发 |
| 7月8日 清晨 | 移动与宽带业务全面失联;911呼叫、Interac借记交易、政府服务陆续告警;公司内部VPN同时中断,远程运维失效 |
| 7月8日 6:00 a.m. | CTO豪尔赫·费尔南德斯(Jorge Fernandes)联络竞争对手Bell与Telus的技术高层通报故障,并提醒防范网络攻击;两家承诺支援 |
| 7月8日 白天 | Public Safety Canada排除网络攻击;确认根因为内部维护升级导致路由器故障 |
| 7月8日 当晚 | 开始分区分批恢复;CEO表示无法给出完全恢复时间 |
| 7月9日 | 宣布“绝大多数”用户业务恢复,个别区域仍有残留问题 |
| 7月11日 | 联邦创新部长商鹏飞(Fransois-Philippe Champagne)约谈七大运营商CEO,宣布互助支援、紧急漫游、公众通报三项新政策,限期60天落地 |
| 7月21日 | 媒体证实CTO费尔南德斯被罗恩·麦肯齐(Ron McKenzie)接替 |
| 8月25日 | 罗杰斯宣布投入2.61亿美元物理拆分无线与有线核心网 |
| 2024年7月 | CRTC发布针对本次断网的独立韧性评估执行摘要 |
值得注意的是,这并不是罗杰斯第一次全国性瘫网。2021年4月19日,其网络因软件更新问题全国中断近一整天。2022年这次是14个月内的第二次全国级事故,这也是为什么监管和舆论的耐心在7月8日当天就耗尽了——事故当日上午,内部邮件已要求零售门店撤下“加拿大最可靠5G网络”的宣传物料。
这部分是全文的技术核心,主锚点是两份文件:一是罗杰斯致CRTC的信函(经《金融邮报》等媒体公开),二是Cloudflare工程师于事发当日发布的路由层观测报告《Cloudflare's view of the Rogers Communications outage in Canada》(blog.cloudflare.com/rogers-outage-analysis/)。
第一层:过滤器被删,全表灌入。 罗杰斯在信中承认,故障发生在其核心IP网七阶段升级计划的第六阶段。分发层路由器上原本配置着一条路由过滤,作用是约束向上传递的路由规模——这是大型承载网的常规防线:核心路由器的转发资源(FIB/TCAM)和控制平面资源是按本网规模设计的,不是按“互联网全表”设计的。2022年年中,IPv4全球BGP表已逼近90万条(CIDR Report公开统计),一旦过滤被移除,“所有可能的互联网路由”涌向核心路由器,容量瞬间被击穿。
第二层:设备崩溃引发路由撤回。 核心路由器过载崩溃后,BGP会话中断,向全网邻居撤回路由。Cloudflare的观测显示,罗杰斯(AS812)的IP前缀在数小时内从全球路由表中批量消失,同时BGP更新消息出现异常尖峰——用Cloudflare的话说,其他网络“找不到罗杰斯了”。这就是Netblocks测得“加拿大约25%互联网连接中断”的路由层证据:不是链路断了,而是整张网在路由层面“隐身”。
第三层:管理平面同归于尽。 这是本案例最刺眼的放大器:罗杰斯员工的远程办公VPN、部分内部运维系统,同样跑在自家承载网上。业务网一瘫,运维的手也被砍断——工程师既看不到网元,也登不上平台。事后披露的细节是:部分员工靠2015年起与其他运营商建立互惠协议而配发的“应急SIM卡”在对手网络上保持联络,另一些员工则驱车赶往集中办公点重建接入。
第四层:恢复比故障更危险。 路由重新收敛时,积压近一天的终端附着请求、会话重建请求和信令同时回涌,网络在半恢复状态下再度承压。这是历次大断网(docomo 2012年拥塞、软银历次重构故障)反复验证过的规律:恢复期是第二个事故窗口,往往决定总时长是10小时还是19小时。
flowchart TD
A["核心IP网七阶段升级第六阶段"] --> B["分发路由器路由过滤器被删除"]
B --> C["全表路由涌入核心路由器"]
C --> D["核心路由器超限崩溃"]
D --> E["BGP路由全网撤回"]
E --> F["罗杰斯从全球路由表消失"]
F --> G["内部VPN同瘫,远程运维中断"]
F --> H["终端附着与信令积压"]
G --> I["只能靠应急SIM与现场集结"]
H --> J["恢复期流量回涌二次冲击"]
I --> K["总时长拉长至约19小时"]
J --> K
需要说明的是,媒体报道中还提到过核心网边缘设备(ERS)层面的问题,本文以罗杰斯致CRTC信函中自认的“路由过滤器删除导致全表灌入”为准;更细粒度的设备型号与配置细节,官方未完整公开,不做推测。
如果只是网民上不了网,这起事故不会惊动联邦内阁。它真正可怕的地方在于外溢——大量与罗杰斯没有直接合同关系的社会系统,因为单一运营商依赖而被拖下水:
一份内部粗算可以说明问题的量级:1200万直连用户之外,还有TekSavvy等批发接入ISP的用户、以及所有“借道罗杰斯”的行业系统用户。单一故障域一旦足够大,断网就不再是电信事故,而是公共安全事件。
很多人第一个疑问是:路由过滤器重新加上、路由器重启收敛,不就完了吗?为什么拖了约19个小时(部分用户的问题持续数日)?复盘下来有四个互相咬合的原因:
从我个人的核心网运维经验看,第1条和第2条是同一类错误的两个表现:把管理平面、签约数据平面、业务承载平面放在了同一个故障域里。变更剧本里可以有一百道审批,但如果带外管理通道和签约数据的高可用设计没过关,一切审批都是在赌概率——罗杰斯14个月内赌输两次。
公司层面,罗杰斯的动作又快又重,其中也有商业考量——当时其正在推动对Shaw Communications的收购,这起事故被批评者当作反对行业进一步集中的最佳论据。8月25日公布的整改方案包括:投入2.61亿美元将无线与有线核心网物理分离(防止一次故障同时掀翻移动与固网两张业务面);向客户发放累计约1.5亿加元的服务积分,并为全体客户减免5天费用(媒体估算这部分在2800万至7000万加元之间);加上管理强化与AI辅助监控,构成一个三年期、总额约100亿加元的网络韧性投入计划。人事上,CTO费尔南德斯于7月21日被罗恩·麦肯齐取代。
行业层面,罗杰斯于9月向联邦创新科技部(ISED)牵头提交了运营商间的《电信可靠性谅解备忘录》(MoU),把断网时的互助协作机制化——这在北美运营商“各自为战、互为对手”的传统里是个罕见动作。
监管层面,商鹏飞部长在事发后第3天(7月11日)约谈罗杰斯、Bell、Telus、Shaw、Vidéotron、SaskTel、EastLink七家公司CEO,宣布三项强制性政策:所有电信商在对方断网时必须提供互助支援;必须向对手的受灾用户提供紧急漫游;必须建立面向公众的故障通报机制,限期60天内签署落地协议。更深远的是,CRTC委托第三方对罗杰斯网络进行独立韧性评估,并于2024年7月发布执行摘要——《Assessment of Rogers Networks for Resiliency and Reliability Following the 8 July 2022 Outage》。监管从“事后问责”走向“常态化韧性体检”,这是本次事故对全球监管者的示范意义:断网罚款解决不了架构问题,架构问题要用架构改造验收来闭环。
timeline
title 罗杰斯7·8断网:事故与整改双线时间线
2022-07-08 : 4:45过滤器删除故障爆发 : 911与Interac瘫痪 : CTO联络Bell与Telus : 当晚开始分区恢复
2022-07-11 : 部长约谈七大运营商 : 互助支援紧急漫游通报机制三箭齐发
2022-08-25 : 宣布2.61亿美元拆分无线与有线核心网 : 客户积分与五天话费减免
2022-09 : 向ISED提交运营商间可靠性谅解备忘录
2024-07 : CRTC发布独立韧性评估执行摘要
最后,把这次事故翻译成国内同行可以直接对照自查的五条,不谈概念,只谈动作:
罗杰斯7·8事故的特殊价值在于它的完整性:根因小到一条配置,放大链路完整展示了“配置变更→设备超限→路由撤回→管理面失能→恢复风暴”的全链条,整改则覆盖了架构(拆网)、机制(MoU)、监管(三项政策加独立评估)三个层面。两年后CRTC独立评估报告的发布,说明加拿大监管已把它当作一个持续数年的韧性改造工程来管理,而非一次性罚款了事。对我们而言,最值得记住的画面不是1200万用户的黑屏,而是那群揣着对手SIM卡、连夜驱车赶往机房、却因为自家VPN瘫痪而登不上网元的工程师——运维保障体系的第一考核项,永远是“网络瘫痪时你还能不能管住网络”。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
