2022年7月8日凌晨,加拿大最大运营商之一罗杰斯(Rogers)发生全国性断网:约1100万手机用户和225万家庭宽带用户同时失联,全国Interac借记卡支付停摆,甚至911报警电话也无法接通,瘫痪持续约19个小时。本文以Cloudflare官方技术博客《Inside the Rogers outage》和加拿大政府委托的独立评估报告为权威锚点,复盘这次事故的完整时间线、根因传导链、处置过程与监管整改,并提炼出七条对核心网工程师真正有用的教训:一次再普通的维护变更,如何在没有“爆炸半径”设计的网络里演变成国家级灾难。
罗杰斯是加拿大举足轻重的运营商:无线用户约1100万,旗下还经营Fido、chatr等子品牌,同时是最大的有线宽带提供商之一,家庭宽带用户约225万。换句话说,这个人口只有3800万的国家,近三分之一的移动用户挂在它一家身上。
2022年7月8日,星期五,加拿大东部时间凌晨不到5点,罗杰斯的网络从核心开始崩塌。这不是一次基站级或局部故障——移动语音、短信、数据业务与家庭宽带、企业专线同时失效,且波及全国。用户手机显示无服务,宽带光猫失去同步,罗杰斯的自治域AS812几乎从全球互联网路由表中整体消失。
对普通人来说,这是刷不出视频的一天;对加拿大社会来说,这是基础设施级的一天:商家刷不了借记卡——因为全国统一的Interac支付网络部分依赖罗杰斯的承载链路;联邦政府Service Canada和税务局的咨询电话瘫痪;加拿大边境服务局的对外电话中断;多地警方公开提醒市民:911可能打不通,请尝试座机或换用其他运营商手机。
事故当晚,罗杰斯确认这不是网络攻击,而是自家核心网的一次内部故障。但真正让业界后背发凉的,是事后公布的根因:引爆点不是什么天灾,而是一次常规的维护变更。
先看时间线。以下时刻综合罗杰斯官方通报、加拿大政府委托的独立评估报告及当地媒体(CBC、Reuters等)报道整理,个别时刻为约数:
| 时间(当地时间) | 事件 |
|---|---|
| 7月8日 约04:45 | 核心网一台核心分发路由器上的维护变更启动 |
| 7月8日 约05:00 | 变更触发路由策略异常,海量路由涌入有限一组区域路由器,设备过载崩溃 |
| 7月8日 清晨 | 故障沿内部路由协议级联扩散,移动+宽带全国瘫痪;AS812路由从全球表撤销 |
| 7月8日 上午 | 911呼叫受阻公告发布;Interac支付大面积停摆;政府电话线路中断 |
| 7月8日 白天 | 罗杰斯确认非网络攻击;抢修因设备逐台重启、路由反复汇聚而缓慢推进;用户DNS请求涌向对手与公共DNS |
| 7月8日 晚间 | 部分移动业务优先恢复,宽带逐步跟进 |
| 7月9日 早晨 | 服务基本全面恢复,主流口径累计约19小时 |
| 7月11日 | 联邦工业部长商鹏飞(François-Philippe Champagne)公开要求罗杰斯书面说明,国会启动质询 |
| 2022年10月 | 政府委托的第三方独立评估报告发布,披露根因细节与整改建议 |
| 2023年3月 | 罗杰斯260亿加元收购萧氏(Shaw)获附条件批准,网络可靠性成为附带承诺之一 |
| 2023年起 | CRTC(加拿大广播电视及电信委员会)推动重大故障强制报告机制,要求运营商在重大断网后两小时内上报 |
这一节是全文的核心。本文的根因细节主要锚定两份权威材料:一是Cloudflare官方技术博客《Inside the Rogers outage》(blog.cloudflare.com/inside-the-rogers-outage/),Cloudflare作为全球观测点记录了罗杰斯路由从全球表消失的全过程;二是加拿大政府创新科技与工业部(ISED)委托独立第三方出具的评估报告(2022年10月发布,见 ised-isde.canada.ca),报告基于罗杰斯内部数据还原了故障链。
根据独立评估报告的还原,故障起源于多伦多附近一台核心分发路由器上的维护操作。变更过程中,路由过滤策略出现异常——用大白话说:本该挡在外面的海量互联网路由路径,因为“过滤器失守”,被放进了内部网络里一组有限的区域路由器。
这组区域路由器的路由表容量被瞬间击穿,设备过载,线卡崩溃。注意这里的雪崩结构:一台设备崩了,路由协议立刻重新收敛,把流量和路由信息压向邻居;邻居本来就接近极限,跟着崩;如此往复,故障在扁平的内部路由域里横向点燃,最终全网路由协议陷入动荡。
Cloudflare的博客从外部视角印证了这一切:7月8日早晨,罗杰斯对外通告的BGP前缀大面积撤销,这个承载着上千万用户的自治域,从全球互联网的“地图”上整体消失。Cloudflare记录到,来自罗杰斯地址段的流量在加拿大境内的占比断崖式归零。
工程师看到这里一定会问:一台路由器出问题,怎么可能全网陪葬?
答案是:罗杰斯的内部路由架构在故障面前没有隔离带。区域路由器之间在同一个路由域内强耦合,缺少能把故障“闷死在本地”的分层设计。独立评估报告对此的批评相当直白:网络缺少遏制故障扩散的机制,一次局部异常被路由协议忠实地复制到了全网。
更致命的是第二层归一:移动网络与有线宽带共用同一个IP承载核心。这解释了事故最反常的特征——为什么手机和家宽同时死?因为在罗杰斯,它们踩在同一条地板上。加拿大监管机构在事后评估中明确指出,这种“一损俱损”的结构是行业层面的风险,不能只算罗杰斯一家的账。
断网只是上半场。设备逐台重启、重新加入路由域的过程,本身就伴随持续的路由重汇聚冲击——刚恢复的设备再次承受全网的收敛压力,性能脆弱时段被反复拉长。这就是为什么恢复花了十几二十个小时:工程师不是在按一个开关,而是在一台一台地稳定设备、一段一段地验证路由,像在地震后逐一检查每一根梁柱。
用故障传导链看全局:
flowchart TD
A["凌晨维护窗口"] --> B["核心分发路由器变更"]
B --> C["路由过滤策略失守"]
C --> D["海量路由涌入区域路由器"]
D --> E["路由表容量击穿"]
E --> F["设备线卡崩溃"]
F --> G["内部路由协议全网动荡"]
G --> H["BGP会话大面积撤销"]
H --> I["AS812从全球路由表消失"]
G --> J["自有递归DNS不可达"]
J --> K["终端涌向对手与公共DNS"]
K --> L["恢复期查询回涌二次冲击"]
I --> M["移动语音短信数据全断"]
I --> N["家宽与企业专线全断"]
M --> O["911呼叫受阻"]
N --> P["Interac全国停摆"]
16个节点,三条支线:路由崩塌主线、DNS次生灾害支线、业务影响支线。值得强调的是,从“变更”到“全国瘫痪”之间没有任何一个环节被设计成能中途刹车。
故障的传播不止于罗杰斯自己的网络。Cloudflare的博客记录了一个极具行业意义的次生现象:罗杰斯自有递归DNS不可达后,其用户设备(终端、路由器、企业网关)自动回落到其他解析路径——贝尔(Bell)、Telus两家对手运营商的递归DNS,以及1.1.1.1等公共DNS的查询量出现明显跳升。罗杰斯的故障,瞬间变成了对手的容量压力测试。
这个细节对网优和数通工程师的启示非常具体:大网故障从来不是孤立的。你家的递归DNS挂了,冲击波会精确地传导到邻居的解析系统上;如果多家运营商在同一时段出事,公共DNS就会成为新的单点。事后加拿大业界讨论的“递归DNS互备协议”,正是从这个教训长出来的。
支付侧的连锁反应同样深刻。Interac是加拿大全国统一的借记卡清算网络,其部分成员机构的接入链路依赖罗杰斯承载。结果全国商家 Saturday morning 买咖啡都刷不了卡,ATM大面积不可用, charity捐款、小商户经营受到实质影响。据当地媒体统计,这是加拿大历史上影响面最大的一次支付中断之一。一家运营商的核心网,就这样短暂地拖住了国家的支付主动脉。
比断网更刺痛公众的,是911报警电话的失效。加拿大无线911呼叫由运营商网络接续到公共安全应答点(PSAP),罗杰斯承载网瘫痪后,其用户的911呼叫大量无法完成。多地警方一度发布公告,教市民改用座机或其他运营商手机报警——这对一个现代电信网络是相当难堪的一幕。
独立评估报告把应急通信列为重点议题,核心结论是:911作为关键业务的生存性,不能与商业网络绑定在同一个故障域里。此后加拿大的整改方向包括:推动下一代911(NG911)体系下更独立、多路径的应急呼叫路由,以及CRTC对运营商应急通信冗余的更高要求。罗杰斯自身也承诺了增强911路由的冗余设计。
站在核心网工程师角度,这里有一个值得写进方案评审清单的问题:你的网络里,哪些业务是“断网时必须还活着”的?它们与普通商业流量之间,物理隔离了吗?逻辑隔离了吗?演练过吗?如果答案都是沉默,那罗杰斯的故事随时可能在你网上重演。
事故处置层面,罗杰斯的表现谈不上高效,但至少透明。CEO托尼·斯塔菲耶里(Tony Staffieri)公开道歉,事后对用户做了账单折抵补偿。技术层面,全网恢复耗时约19小时,主要是前述“逐台稳定、逐段验证”的恢复方式所限。
监管层面的动作则快而重:
值得记录的是,整改并非一劳永逸:据报道,2023年4月初罗杰斯再度发生波及全国的移动网故障,持续了大半天。大网的可靠性没有银弹,只有持续投入——这大概是这两次事故放在一起最诚实的注脚。
作为在核心网和运维一线干了18年的人,我把这次事故的教训压缩成七条可以直接拿去评审会上用的清单:
罗杰斯断网的根因,说出来平淡得让人失望:一次维护变更、一条失守的路由过滤、一组过载的区域路由器。没有任何环节是“惊天动地”的单点,但它们串在一起,就是一个国家级的19小时。
这就是大网运维的残酷之处:可靠性不是某个天才设计的功劳,而是无数平庸细节的乘积——任何一项归零,整体归零。变更管理的每一次双人复核,路由域的每一道隔离边界,带外网的每一米光纤,平时都像浪费,故障时都是悬崖边的护栏。
加拿大监管后来把重大故障两小时上报写进了规则,把可靠性写进了并购条件。对全球同行而言,罗杰斯案例最值得带走的一句话是:当你的网络规模大到“国家基础设施”级别时,你就不能再按“一家公司”的标准做架构决策。因为断网那19个小时里,痛的不只是运营商的KPI,还有打不出去的911、刷不出去的饭钱,和一个国家被迫停摆的星期五。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
