首页 › tech › 罗杰斯19小时断网复盘

概述

2022年7月8日凌晨,加拿大最大运营商之一罗杰斯(Rogers)发生全国性断网:约1100万手机用户和225万家庭宽带用户同时失联,全国Interac借记卡支付停摆,甚至911报警电话也无法接通,瘫痪持续约19个小时。本文以Cloudflare官方技术博客《Inside the Rogers outage》和加拿大政府委托的独立评估报告为权威锚点,复盘这次事故的完整时间线、根因传导链、处置过程与监管整改,并提炼出七条对核心网工程师真正有用的教训:一次再普通的维护变更,如何在没有“爆炸半径”设计的网络里演变成国家级灾难。

目录

一、事故速览:一个国家同时失去网络和救命电话

罗杰斯是加拿大举足轻重的运营商:无线用户约1100万,旗下还经营Fido、chatr等子品牌,同时是最大的有线宽带提供商之一,家庭宽带用户约225万。换句话说,这个人口只有3800万的国家,近三分之一的移动用户挂在它一家身上。

2022年7月8日,星期五,加拿大东部时间凌晨不到5点,罗杰斯的网络从核心开始崩塌。这不是一次基站级或局部故障——移动语音、短信、数据业务与家庭宽带、企业专线同时失效,且波及全国。用户手机显示无服务,宽带光猫失去同步,罗杰斯的自治域AS812几乎从全球互联网路由表中整体消失。

对普通人来说,这是刷不出视频的一天;对加拿大社会来说,这是基础设施级的一天:商家刷不了借记卡——因为全国统一的Interac支付网络部分依赖罗杰斯的承载链路;联邦政府Service Canada和税务局的咨询电话瘫痪;加拿大边境服务局的对外电话中断;多地警方公开提醒市民:911可能打不通,请尝试座机或换用其他运营商手机。

事故当晚,罗杰斯确认这不是网络攻击,而是自家核心网的一次内部故障。但真正让业界后背发凉的,是事后公布的根因:引爆点不是什么天灾,而是一次常规的维护变更。

二、19小时时间线:从一次例行维护到全国瘫痪

先看时间线。以下时刻综合罗杰斯官方通报、加拿大政府委托的独立评估报告及当地媒体(CBC、Reuters等)报道整理,个别时刻为约数:

时间(当地时间) 事件
7月8日 约04:45 核心网一台核心分发路由器上的维护变更启动
7月8日 约05:00 变更触发路由策略异常,海量路由涌入有限一组区域路由器,设备过载崩溃
7月8日 清晨 故障沿内部路由协议级联扩散,移动+宽带全国瘫痪;AS812路由从全球表撤销
7月8日 上午 911呼叫受阻公告发布;Interac支付大面积停摆;政府电话线路中断
7月8日 白天 罗杰斯确认非网络攻击;抢修因设备逐台重启、路由反复汇聚而缓慢推进;用户DNS请求涌向对手与公共DNS
7月8日 晚间 部分移动业务优先恢复,宽带逐步跟进
7月9日 早晨 服务基本全面恢复,主流口径累计约19小时
7月11日 联邦工业部长商鹏飞(François-Philippe Champagne)公开要求罗杰斯书面说明,国会启动质询
2022年10月 政府委托的第三方独立评估报告发布,披露根因细节与整改建议
2023年3月 罗杰斯260亿加元收购萧氏(Shaw)获附条件批准,网络可靠性成为附带承诺之一
2023年起 CRTC(加拿大广播电视及电信委员会)推动重大故障强制报告机制,要求运营商在重大断网后两小时内上报

三、根因复盘:一条变更如何点燃整个核心网

这一节是全文的核心。本文的根因细节主要锚定两份权威材料:一是Cloudflare官方技术博客《Inside the Rogers outage》(blog.cloudflare.com/inside-the-rogers-outage/),Cloudflare作为全球观测点记录了罗杰斯路由从全球表消失的全过程;二是加拿大政府创新科技与工业部(ISED)委托独立第三方出具的评估报告(2022年10月发布,见 ised-isde.canada.ca),报告基于罗杰斯内部数据还原了故障链。

引爆点:一台核心分发路由器上的维护变更

根据独立评估报告的还原,故障起源于多伦多附近一台核心分发路由器上的维护操作。变更过程中,路由过滤策略出现异常——用大白话说:本该挡在外面的海量互联网路由路径,因为“过滤器失守”,被放进了内部网络里一组有限的区域路由器。

这组区域路由器的路由表容量被瞬间击穿,设备过载,线卡崩溃。注意这里的雪崩结构:一台设备崩了,路由协议立刻重新收敛,把流量和路由信息压向邻居;邻居本来就接近极限,跟着崩;如此往复,故障在扁平的内部路由域里横向点燃,最终全网路由协议陷入动荡。

Cloudflare的博客从外部视角印证了这一切:7月8日早晨,罗杰斯对外通告的BGP前缀大面积撤销,这个承载着上千万用户的自治域,从全球互联网的“地图”上整体消失。Cloudflare记录到,来自罗杰斯地址段的流量在加拿大境内的占比断崖式归零。

放大器一:没有爆炸半径的扁平架构

工程师看到这里一定会问:一台路由器出问题,怎么可能全网陪葬?

答案是:罗杰斯的内部路由架构在故障面前没有隔离带。区域路由器之间在同一个路由域内强耦合,缺少能把故障“闷死在本地”的分层设计。独立评估报告对此的批评相当直白:网络缺少遏制故障扩散的机制,一次局部异常被路由协议忠实地复制到了全网。

更致命的是第二层归一:移动网络与有线宽带共用同一个IP承载核心。这解释了事故最反常的特征——为什么手机和家宽同时死?因为在罗杰斯,它们踩在同一条地板上。加拿大监管机构在事后评估中明确指出,这种“一损俱损”的结构是行业层面的风险,不能只算罗杰斯一家的账。

放大器二:恢复期比崩溃期更难

断网只是上半场。设备逐台重启、重新加入路由域的过程,本身就伴随持续的路由重汇聚冲击——刚恢复的设备再次承受全网的收敛压力,性能脆弱时段被反复拉长。这就是为什么恢复花了十几二十个小时:工程师不是在按一个开关,而是在一台一台地稳定设备、一段一段地验证路由,像在地震后逐一检查每一根梁柱。

用故障传导链看全局:

flowchart TD
    A["凌晨维护窗口"] --> B["核心分发路由器变更"]
    B --> C["路由过滤策略失守"]
    C --> D["海量路由涌入区域路由器"]
    D --> E["路由表容量击穿"]
    E --> F["设备线卡崩溃"]
    F --> G["内部路由协议全网动荡"]
    G --> H["BGP会话大面积撤销"]
    H --> I["AS812从全球路由表消失"]
    G --> J["自有递归DNS不可达"]
    J --> K["终端涌向对手与公共DNS"]
    K --> L["恢复期查询回涌二次冲击"]
    I --> M["移动语音短信数据全断"]
    I --> N["家宽与企业专线全断"]
    M --> O["911呼叫受阻"]
    N --> P["Interac全国停摆"]

16个节点,三条支线:路由崩塌主线、DNS次生灾害支线、业务影响支线。值得强调的是,从“变更”到“全国瘫痪”之间没有任何一个环节被设计成能中途刹车。

四、次生灾害:DNS雪崩与全国支付停摆

故障的传播不止于罗杰斯自己的网络。Cloudflare的博客记录了一个极具行业意义的次生现象:罗杰斯自有递归DNS不可达后,其用户设备(终端、路由器、企业网关)自动回落到其他解析路径——贝尔(Bell)、Telus两家对手运营商的递归DNS,以及1.1.1.1等公共DNS的查询量出现明显跳升。罗杰斯的故障,瞬间变成了对手的容量压力测试。

这个细节对网优和数通工程师的启示非常具体:大网故障从来不是孤立的。你家的递归DNS挂了,冲击波会精确地传导到邻居的解析系统上;如果多家运营商在同一时段出事,公共DNS就会成为新的单点。事后加拿大业界讨论的“递归DNS互备协议”,正是从这个教训长出来的。

支付侧的连锁反应同样深刻。Interac是加拿大全国统一的借记卡清算网络,其部分成员机构的接入链路依赖罗杰斯承载。结果全国商家 Saturday morning 买咖啡都刷不了卡,ATM大面积不可用, charity捐款、小商户经营受到实质影响。据当地媒体统计,这是加拿大历史上影响面最大的一次支付中断之一。一家运营商的核心网,就这样短暂地拖住了国家的支付主动脉。

五、911为什么打不通

比断网更刺痛公众的,是911报警电话的失效。加拿大无线911呼叫由运营商网络接续到公共安全应答点(PSAP),罗杰斯承载网瘫痪后,其用户的911呼叫大量无法完成。多地警方一度发布公告,教市民改用座机或其他运营商手机报警——这对一个现代电信网络是相当难堪的一幕。

独立评估报告把应急通信列为重点议题,核心结论是:911作为关键业务的生存性,不能与商业网络绑定在同一个故障域里。此后加拿大的整改方向包括:推动下一代911(NG911)体系下更独立、多路径的应急呼叫路由,以及CRTC对运营商应急通信冗余的更高要求。罗杰斯自身也承诺了增强911路由的冗余设计。

站在核心网工程师角度,这里有一个值得写进方案评审清单的问题:你的网络里,哪些业务是“断网时必须还活着”的?它们与普通商业流量之间,物理隔离了吗?逻辑隔离了吗?演练过吗?如果答案都是沉默,那罗杰斯的故事随时可能在你网上重演。

六、处置与整改:监管把可靠性写进了并购协议

事故处置层面,罗杰斯的表现谈不上高效,但至少透明。CEO托尼·斯塔菲耶里(Tony Staffieri)公开道歉,事后对用户做了账单折抵补偿。技术层面,全网恢复耗时约19小时,主要是前述“逐台稳定、逐段验证”的恢复方式所限。

监管层面的动作则快而重:

  1. 国会质询与部长问责。事故发生后第三个工作日,联邦工业部长即公开要求罗杰斯提交详细解释,国会工业委员会召集聚istrator作证,罗杰斯与贝尔、Telus三家CEO同台接受质询。
  2. 政府委托独立评估。2022年10月发布的第三方报告,不仅还原根因,还提出了多项系统性建议,覆盖网络架构多样性、变更管理、应急通信冗余和故障透明度。
  3. 重大故障强制报告。CRTC在此后推动了运营商重大断网的强制上报机制,要求在事故发生后两小时内向监管报告——把“故障知情权”从事后新闻稿变成了硬性义务。
  4. 可靠性进入并购条件。2023年3月,罗杰斯260亿加元收购萧氏的交易获联邦批准,网络可靠性与西部投资成为附带承诺的一部分。故障处置直接影响了加拿大电信业格局的走向,这在行业史上并不多见。
  5. 架构整改承诺。罗杰斯公开承诺推进无线网与有线网承载的架构分离,降低同生共死的风险。

值得记录的是,整改并非一劳永逸:据报道,2023年4月初罗杰斯再度发生波及全国的移动网故障,持续了大半天。大网的可靠性没有银弹,只有持续投入——这大概是这两次事故放在一起最诚实的注脚。

七、写给核心网工程师的七条血泪清单

作为在核心网和运维一线干了18年的人,我把这次事故的教训压缩成七条可以直接拿去评审会上用的清单:

  1. 过滤器类变更是最高危变更。路由策略、过滤规则、最大前缀限制(max-prefix)这类“决定设备胃口”的配置,一旦配错,等于亲手拆掉设备的防波堤。此类变更必须双人复核、预校验、明确回退步骤,并在变更窗口内实时监控路由表规模曲线。
  2. 路由域必须分层,故障必须有爆炸半径。内部路由协议设计要回答一个问题:最坏情况下,一个区域的故障最远能传多远?如果答案是“全网”,这个设计就没有及格。区域隔离、路由汇总、策略白名单,都是给故障修防火墙。
  3. 设备要失效安全,而不是失效崩溃。路由表超限时,理想行为是“拒绝新增路由并告警”,而不是“整卡崩溃”。选型时把过限行为当作硬指标考察,而不是只看转发面性能。
  4. 带外管理网必须真带外。全网瘫痪时,依赖生产网的管理通道必然同生共死。罗杰斯抢修缓慢的原因之一,就是工程师在“网络不可用”的状态下操作网络。独立物理通道的OOB(带外管理)平时是成本,故障时是命。
  5. 关键业务与商业流量不同生死。911、计费、DNS、网管,这些“断网时必须活着”的系统,要在物理和逻辑上与商业承载分离,并定期演练。
  6. 递归DNS要有互备与限流设计。自有递归、对等互备、公共回落三层兜底,并对恢复期的查询回涌预置限流——Cloudflare记录的那次“回涌二次冲击”就是没做这一步的代价。
  7. 恢复要有预案,而不是现场发明。分区恢复、语音优先、容量预留(尤其是海量终端重注册风暴的容量),都要写成runbook并演练。两年前KDDI断网时千万台手机同时重连挤爆核心网的场景,和这里的路由重汇聚,本质是同一类问题:恢复期的网络比故障期更脆弱。

八、结语:大网没有小事

罗杰斯断网的根因,说出来平淡得让人失望:一次维护变更、一条失守的路由过滤、一组过载的区域路由器。没有任何环节是“惊天动地”的单点,但它们串在一起,就是一个国家级的19小时。

这就是大网运维的残酷之处:可靠性不是某个天才设计的功劳,而是无数平庸细节的乘积——任何一项归零,整体归零。变更管理的每一次双人复核,路由域的每一道隔离边界,带外网的每一米光纤,平时都像浪费,故障时都是悬崖边的护栏。

加拿大监管后来把重大故障两小时上报写进了规则,把可靠性写进了并购条件。对全球同行而言,罗杰斯案例最值得带走的一句话是:当你的网络规模大到“国家基础设施”级别时,你就不能再按“一家公司”的标准做架构决策。因为断网那19个小时里,痛的不只是运营商的KPI,还有打不出去的911、刷不出去的饭钱,和一个国家被迫停摆的星期五。

参考来源

  1. Inside the Rogers outage — Cloudflare官方技术博客 — Cloudflare以全球观测点视角记录罗杰斯BGP路由撤销、流量归零与DNS查询转移的全过程,本文路由层细节的主要锚点
  2. 加拿大创新科技与工业部(ISED)官方网站 — 政府委托的罗杰斯断网独立评估报告(2022年10月发布)发布渠道,根因细节与整改建议的官方来源
  3. Rogers官方新闻室 — 罗杰斯关于本次故障的历次官方通报与致歉声明
  4. CRTC加拿大广播电视及电信委员会 — 重大故障强制报告机制与应急通信整改的监管文件来源
  5. CBC News 科技报道 — 国会质询、Interac停摆、警方911公告等社会影响的当地报道

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入