2022年7月8日凌晨，加拿大最大的电信运营商Rogers发生了北美电信史上罕见的一场全国性断网：一次核心网维护变更，引发路由器震荡，路由更新风暴刷爆IP骨干网，导致约1100万移动用户失联、全国约四分之一互联网流量中断、911报警电话打不通，整个国家断网近19小时。本文以加拿大监管机构CRTC（加拿大广播电视及电信委员会）的调查结论、Rogers向国会工业委员会提交的说明及其CTO Jorge Fernandes的听证证词为主轴，辅以Cloudflare、Kentik两家第三方测量机构的观测数据交叉验证，完整复盘这场事故的时间线、根因链、处置过程与两年整改账单，并给出写给一线核心网工程师的七条可落地教训。

目录

• 一、清晨四点四十五分，半个国家静音
• 二、19小时全时间线
• 三、根因追踪：一次维护，滚成路由风暴
• 四、为什么一个故障能放倒一个国家
• 五、处置与整改：从道歉到两亿加元账单
• 六、写给核心网工程师的七条军规
• 七、同类事故对照：Rogers不是孤例

一、清晨四点四十五分，半个国家静音

2022年7月8日，星期五，凌晨4时45分（东部时间）。

绝大多数加拿大人还在睡梦中，Rogers全国IP骨干网上的监控大屏开始大面积飘红。Kentik的流量测量数据显示，Rogers全网流量在几分钟内骤降到接近零——不是一个省，不是一个业务，是整个运营商，连同跑在它骨干网上的企业专线、银行网络和政府系统，一起静音了。

早晨六七点，多伦多、渥太华、蒙特利尔的通勤者发现手机没有信号，家里WiFi连着路由器却出不了门。更严重的事情接踵而至：

• 911打不通。 多地警方和消防部门紧急发公告，提醒市民Rogers用户的紧急呼叫可能失败，建议改用座机或他人手机；
• 刷不了卡。 加拿大全国借记卡体系Interac依赖电信承载网，零售店POS机集体罢工，咖啡店门口挂出"只收现金"的牌子；
• 边境卡住。 据加拿大媒体报道，边境事务系统、部分机场值机、Service Canada等政府服务受阻，医院和药店的系统也出现大面积异常；
• 连锁反应。 Interac转账、部分银行客户端、依赖Rogers专线的商户全部停摆——互联网测量机构NetBlocks测得当天加拿大全国互联网流量下降了约四分之一。

Rogers是加拿大三大运营商（Rogers、Bell、Telus）之一，移动用户1100余万，同时是主要的有线宽带和企业专线服务商。这次断网不是"一家运营商某个业务出了问题"，而是"一个国家的基础设施抽走了一块"。加拿大国际广播电台当时的评论是：这更像一场自然灾害，而不是一次技术故障。

二、19小时全时间线

先看时间线。下表综合了CRTC调查报告、Rogers官方通报、国会听证证词及第三方测量数据（各业务恢复时间口径略有差异，媒体主流说法为"近19小时"）：

注意最后一行。事故过去快两年，罚单没有开给闯祸的Rogers，而是开给了两家"见义勇为"的邻居——这个细节后面细说，它是整场事故里最有运维味道的一笔。

三、根因追踪：一次维护，滚成路由风暴

官方认定的根因链

根因链条以Rogers向监管机构与国会提交的说明、CRTC调查结论为准，可以概括成五步：

第一步：一次夜维变更。 7月8日凌晨的维护窗口内，Rogers对核心网设备执行了代码/配置更新。这类操作在任何运营商都是家常便饭——每个大网每个夜晚都有几百个变更在跑。

第二步：路由器行为异常。 更新后，部分核心路由器开始"抽风"：反复从网络中掉线，又反复尝试重新连入。用运维黑话说，这叫路由震荡（flapping）。

第三步：路由更新风暴。 每次掉线，这些路由器先前宣告的路由就要被撤回；每次重连，又要重新宣告一遍。RFC 4271定义的BGP本该稳如老狗，但面对持续高频的路由撤销与重宣告，IP路由网的控制面被海量路由更新刷爆了。Rogers CTOFernandes在国会作证时明确描述了这个过程：路由设备反复进出网络，路由更新淹没了IP路由网络（据其听证证词）。

第四步：DNS"活着但够不着"。 这里是整场事故最反直觉的一环：Rogers的DNS递归服务器本身并没有宕机，进程全是活的——但它们与核心网之间的可达性断了。用户的每一次域名解析都发往一台"物理上健在、网络上进不去"的服务器。于是所有App、所有认证、所有业务，看起来都像"DNS挂了"。

第五步：全网业务归零。 域名解析失败叠加承载通道中断，移动签约认证、语音、数据、企业专线全面失败。故障规模之大，以至于第一轮排查一度怀疑是网络攻击——官方随后确认，无证据表明存在恶意行为。

为什么恢复花了十几个小时

很多人的疑问是：路由器抽风，回滚不就完了？现实残酷得多：

1. 隔离故障设备花了时间。 Rogers首先要从风暴中识别出"是哪几台路由器在作乱"，把它们从网络中隔离出去；
2. 重建核心网可达性靠人工。 核心路由网控制面过载后，大量的路由关系需要手工恢复和重新指路，规模是全国级的；
3. 恢复必须分片进行。 不是按下按钮全网复位，而是语音先回、数据后回、固网再回——每一步都要观察，防止再次触发风暴。

下面这张图把整条雪球链画出来：

flowchart TD
    A["凌晨维护窗口<br/>核心网设备代码变更"] --> B["部分核心路由器行为异常"]
    B --> C["反复掉线又重连<br/>路由震荡"]
    C --> D["路由更新风暴<br/>刷爆IP路由网"]
    D --> E["核心网控制面过载"]
    E --> F["DNS递归服务器<br/>与核心网失联"]
    E --> G["语音与数据<br/>承载通道中断"]
    F --> H["域名解析全面失败"]
    G --> I["App 认证 支付<br/>全面瘫痪"]
    H --> I
    I --> J["全国性断网<br/>近19小时"]

一个细节值得反复咀嚼：触发点很小，隔离失败，正反馈放大。任何一个环节上有一道闸门——变更隔离、路由抑制、控制面限速——这个故事都不会发生。

四、为什么一个故障能放倒一个国家

CRTC的调查和国会听证追问的正是这个问题。答案不是"运气差"，而是四个结构性缺陷的叠加。

缺陷一：一张骨干网，养全家

Bell和Telus的历史包袱重，保留了多张相对独立的网络；Rogers恰恰相反——网络整合度高，把移动业务、固网宽带、企业专线全部收敛到同一张全国IP骨干网上。平时这是效率优势：一套团队、一套网管、一套光缆资源，成本业内最低。出事那天，这是灾难放大器：故障域合体了。无线和固网本是天然的双平面，Rogers自己把它们拧成了一股绳。

缺陷二：控制面没有隔离域

一台（组）核心路由器的震荡，能放大成全网控制面过载，说明路由更新的风暴抑制、进入限速、故障隔离域没有起到应有的作用。业内的共识做法是给核心路由协议加上"减震器"——路由阻尼、更新限速、邻接震荡快速抑制——确保单点异常最多影响它自己那个域。Rogers的这口钟，敲响的是整个行业的警钟。

缺陷三：监控的盲区

故障期间，网管系统里DNS服务器是绿的——进程活着、端口开着。但用户侧是100%的红。设备视角的监控说"我没事"，用户视角的体验才是真相。 这也是为什么大型运营商这几年都在推从真实用户位置发起的拨测（synthetic probing）：每5分钟从各省模拟用户做一次"DNS解析+HTTP访问+VoLTE起呼"，服务器活着但够不着这种故障，只有拨测能第一时间抓到。

缺陷四：911的最后一公里

这是最要命的一环。断网后，加拿大电信业启用了紧急漫游机制（CER，Canadian Emergency Roaming）：Rogers手机自动挂到Bell/Telus网络上，恢复打电话——看起来兜底成功了。但911电话有个特殊路径：漫游网络接起电话后，按规则要把电话转接回Rogers运营的911应答中心（因为报警数据、位置信息、处置流程都在Rogers的应急体系里）。而这条转接通道，在故障期间大面积失灵——电话能拨出去，却卡在了"转回原运营商"的半路上。

flowchart TD
    A["Rogers手机拨打911"] --> B["本网911通道已瘫痪"]
    B --> C["紧急漫游CER生效<br/>手机挂到贝尔或Telus网络"]
    C --> D["漫游网络接起电话"]
    D --> E["按规则转回<br/>Rogers的911应答中心"]
    E --> F["转接通道故障<br/>救援电话卡在半路"]

兜底方案兜住了"打电话"，没兜住"救命"。这个盲区，两年后变成了两张罚单。

五、处置与整改：从道歉到两亿加元账单

事故的处置与后续整改，可以分成四笔账：

第一笔：用户补偿。 事故次日，Rogers宣布向受影响用户补偿相当于5天月费的服务抵扣。2023年秋，CRTC批准了Rogers提交的结算方案，补偿总规模至多2亿加元——这可能是全球电信史上最大单笔的"断网赔偿"之一。

第二笔：政府限期整改令。 时任创新科技与工业部长商鹏飞（François-Philippe Champagne）在事故后约谈三大运营商，要求Rogers在60天内提交整改方案，核心三条：网络冗余与故障隔离、正式化运营商间紧急漫游协议、提升911可靠性。Rogers随后承诺拆分移动与固网的故障域，让"一张网瘫、全家失联"的结构性风险逐步消解。

第三笔：国会听证。 2022年8月，国会工业科技委员会举行听证，Rogers CTO Fernandes出庭完整交代根因链，三大运营商高管承诺加强合作与演练。这场听证的公开记录，成了研究电信网络韧性的重要一手材料。

第四笔：连带罚单。 2024年6月，CRTC宣布对Bell处以1050万加元、Telus处以890万加元的行政处罚——理由是断网当天，两家未能按监管要求把911呼叫成功转接至Rogers的911应答中心。CRTC的立场很清楚：911没有"我们尽力了"，只有"打通"和"没打通"。这张罚单确立了一个重要先例：紧急呼叫的兜底责任，落在每一次转接路径上的每一个运营商身上，谁都别想只当"传话的"。

此后，CRTC陆续收紧重大网络事件的强制上报与复盘要求，推动运营商间911转接的常态化演练。一场事故，改写了整个加拿大电信业的应急治理框架。

六、写给核心网工程师的七条军规

复盘不是看热闹。从18年核心网与运维一线的经验出发，我把这场事故的教训压缩成七条可以直接落地的军规：

1. 变更必须有隔离域。 核心网设备的代码/配置变更，必须在逻辑或物理上先与现网隔离——影子环境验证、灰度试点设备、再全网推广。凌晨4点45分这个时间点告诉我们：夜维窗口的变更，恰恰是全网最脆弱时刻的手术。
2. 给控制面装减震器。 路由阻尼、更新限速、邻接震荡抑制、路由表规模上限告警，这几样老手艺在SDN时代依然保命。控制面的过载，比数据面的拥塞致命一百倍。
3. 带外管理是最后的缆。 核心网瘫痪时，你总得有一条不依赖被管网络的管理通道。带外管理网、独立于生产网的NMS通道、关键节点的console可达——平时觉得浪费，出事时是命根子。
4. 监控必须从用户视角发起。 设备告警绿了不等于业务没死。在真实用户侧布拨测：解析、附着、起呼、上网四件套，5分钟一轮。DNS"活着但够不着"这类故障，只有端到端拨测抓得住。
5. 画一张真正的依赖地图。 你的业务到底依赖什么？DNS在哪、认证锚点在哪、Diameter路由代理在哪、证书校验出口在哪？很多运营商画不出这张图，故障来了才逐层排雷。依赖地图要每年随网络变更更新，并做单点标注。
6. 911要按最坏情况实弹演练。 每年至少一次，模拟"本网全瘫"场景，把漫游接入→转接→应答中心→派警的完整链条真实拨测一遍。Rogers事故证明：兜底机制的失效点，往往在两个系统的接缝上。
7. 拆分故障域，哪怕贵。 移动与固网双平面、按区域划分IGP/BGP域、关键业务走独立承载——Rogers用近19小时的全国断网和至多2亿加元的账单告诉我们：整合省下的钱，一次事故全部吐出来还要倒贴。

七、同类事故对照：Rogers不是孤例

把近几年的标志性全国性断网放在一起看，规律惊人地一致——触发点都是"小事"，爆炸的都是控制面和管理面，而不是流量太大：

五起事故，五种触发方式，同一个病理：控制面单点异常×隔离缺失×正反馈放大。区别只在于爆炸当量。这也是为什么我把Rogers这场称为"教科书级"——它把上面三个乘数，每一个都踩到了满分。

参考来源

1. 2022 Rogers Communications outage - Wikipedia — 事故时间线、影响面与后续处罚的综合记录，附大量一手报道引用
2. Cloudflare Blog: Rogers outage 观测 — 第三方测量视角的断网期间流量与路由观测分析
3. Kentik: The Rogers Communications Outage（Doug Madory） — 互联网测量机构对断网时段全网流量的逐小时分析
4. CRTC 加拿大广播电视及电信委员会官网 — 2023年调查结论与补偿方案批准、2024年6月对Bell/Telus的911处罚公告
5. 加拿大国会工业科技委员会（INDU）听证记录 — 2022年8月Rogers高管出庭证词与三大运营商整改承诺

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。