2022年7月8日凌晨，加拿大最大的电信运营商Rogers发生了北美电信史上罕见的一场全国性断网：一次核心网维护变更，引发路由器震荡，路由更新风暴刷爆IP骨干网，导致约1100万移动用户失联、全国约四分之一互联网流量中断、911报警电话打不通，整个国家断网近19小时。本文以加拿大监管机构CRTC（加拿大广播电视及电信委员会）的调查结论、Rogers向国会工业委员会提交的说明及其CTO Jorge Fernandes的听证证词为主轴，辅以Cloudflare、Kentik两家第三方测量机构的观测数据交叉验证，完整复盘这场事故的时间线、根因链、处置过程与两年整改账单，并给出写给一线核心网工程师的七条可落地教训。 ## 目录 - 一、清晨四点四十五分，半个国家静音 - 二、19小时全时间线 - 三、根因追踪：一次维护，滚成路由风暴 - 四、为什么一个故障能放倒一个国家 - 五、处置与整改：从道歉到两亿加元账单 - 六、写给核心网工程师的七条军规 - 七、同类事故对照：Rogers不是孤例 ## 一、清晨四点四十五分，半个国家静音 2022年7月8日，星期五，凌晨4时45分（东部时间）。 绝大多数加拿大人还在睡梦中，Rogers全国IP骨干网上的监控大屏开始大面积飘红。Kentik的流量测量数据显示，Rogers全网流量在几分钟内骤降到接近零——不是一个省，不是一个业务，是整个运营商，连同跑在它骨干网上的企业专线、银行网络和政府系统，一起静音了。 早晨六七点，多伦多、渥太华、蒙特利尔的通勤者发现手机没有信号，家里WiFi连着路由器却出不了门。更严重的事情接踵而至： - **911打不通。** 多地警方和消防部门紧急发公告，提醒市民Rogers用户的紧急呼叫可能失败，建议改用座机或他人手机； - **刷不了卡。** 加拿大全国借记卡体系Interac依赖电信承载网，零售店POS机集体罢工，咖啡店门口挂出"只收现金"的牌子； - **边境卡住。** 据加拿大媒体报道，边境事务系统、部分机场值机、Service Canada等政府服务受阻，医院和药店的系统也出现大面积异常； - **连锁反应。** Interac转账、部分银行客户端、依赖Rogers专线的商户全部停摆——互联网测量机构NetBlocks测得当天加拿大全国互联网流量下降了约四分之一。 Rogers是加拿大三大运营商（Rogers、Bell、Telus）之一，移动用户1100余万，同时是主要的有线宽带和企业专线服务商。这次断网不是"一家运营商某个业务出了问题"，而是"一个国家的基础设施抽走了一块"。加拿大国际广播电台当时的评论是：这更像一场自然灾害，而不是一次技术故障。 ## 二、19小时全时间线 先看时间线。下表综合了CRTC调查报告、Rogers官方通报、国会听证证词及第三方测量数据（各业务恢复时间口径略有差异，媒体主流说法为"近19小时"）： | 时间（东部时间） | 事件 | | --- | --- | | 7月8日 04:45 | 核心网维护变更生效，部分核心路由器开始反复掉线重连，全网流量骤降至接近零 | | 06:00前后 | 大规模用户失去移动信号与宽带；多地911呼叫开始失败 | | 上午 | Rogers确认根因，着手隔离故障路由设备；Interac借记卡、银行、边境与政务系统大面积受阻 | | 上午至中午 | 运营商间紧急漫游机制（CER）启动，Rogers用户借道Bell/Telus网络拨打和接听电话 | | 中午至傍晚 | 核心网重建路由，移动语音与数据分片、分批恢复 | | 当天深夜 | 固网宽带与固话陆续恢复，至此距故障开始"近19小时" | | 7月9日—11日 | CEO Tony Staffieri公开道歉，宣布补偿用户相当于5天月费的服务抵扣 | | 2022年8月 | 国会工业科技委员会（INDU）听证，CTO Jorge Fernandes出庭说明根因，运营商承诺整改 | | 2023年秋 | CRTC批准补偿结算方案，补偿总规模至多2亿加元 | | 2024年6月 | CRTC对Bell罚款1050万加元、Telus罚款890万加元——因断网期间两家的911转接失败 | 注意最后一行。事故过去快两年，罚单没有开给闯祸的Rogers，而是开给了两家"见义勇为"的邻居——这个细节后面细说，它是整场事故里最有运维味道的一笔。 ## 三、根因追踪：一次维护，滚成路由风暴 ### 官方认定的根因链 根因链条以Rogers向监管机构与国会提交的说明、CRTC调查结论为准，可以概括成五步： **第一步：一次夜维变更。** 7月8日凌晨的维护窗口内，Rogers对核心网设备执行了代码/配置更新。这类操作在任何运营商都是家常便饭——每个大网每个夜晚都有几百个变更在跑。 **第二步：路由器行为异常。** 更新后，部分核心路由器开始"抽风"：反复从网络中掉线，又反复尝试重新连入。用运维黑话说，这叫**路由震荡（flapping）**。 **第三步：路由更新风暴。** 每次掉线，这些路由器先前宣告的路由就要被撤回；每次重连，又要重新宣告一遍。RFC 4271定义的BGP本该稳如老狗，但面对持续高频的路由撤销与重宣告，IP路由网的控制面被海量路由更新刷爆了。Rogers CTOFernandes在国会作证时明确描述了这个过程：路由设备反复进出网络，路由更新淹没了IP路由网络（据其听证证词）。 **第四步：DNS"活着但够不着"。** 这里是整场事故最反直觉的一环：Rogers的DNS递归服务器本身并没有宕机，进程全是活的——但它们与核心网之间的可达性断了。用户的每一次域名解析都发往一台"物理上健在、网络上进不去"的服务器。于是所有App、所有认证、所有业务，看起来都像"DNS挂了"。 **第五步：全网业务归零。** 域名解析失败叠加承载通道中断，移动签约认证、语音、数据、企业专线全面失败。故障规模之大，以至于第一轮排查一度怀疑是网络攻击——官方随后确认，无证据表明存在恶意行为。 ### 为什么恢复花了十几个小时 很多人的疑问是：路由器抽风，回滚不就完了？现实残酷得多： 1. **隔离故障设备花了时间。** Rogers首先要从风暴中识别出"是哪几台路由器在作乱"，把它们从网络中隔离出去； 2. **重建核心网可达性靠人工。** 核心路由网控制面过载后，大量的路由关系需要手工恢复和重新指路，规模是全国级的； 3. **恢复必须分片进行。** 不是按下按钮全网复位，而是语音先回、数据后回、固网再回——每一步都要观察，防止再次触发风暴。 下面这张图把整条雪球链画出来： ```mermaid flowchart TD A["凌晨维护窗口
核心网设备代码变更"] --> B["部分核心路由器行为异常"] B --> C["反复掉线又重连
路由震荡"] C --> D["路由更新风暴
刷爆IP路由网"] D --> E["核心网控制面过载"] E --> F["DNS递归服务器
与核心网失联"] E --> G["语音与数据
承载通道中断"] F --> H["域名解析全面失败"] G --> I["App 认证 支付
全面瘫痪"] H --> I I --> J["全国性断网
近19小时"] ``` 一个细节值得反复咀嚼：**触发点很小，隔离失败，正反馈放大**。任何一个环节上有一道闸门——变更隔离、路由抑制、控制面限速——这个故事都不会发生。 ## 四、为什么一个故障能放倒一个国家 CRTC的调查和国会听证追问的正是这个问题。答案不是"运气差"，而是四个结构性缺陷的叠加。 ### 缺陷一：一张骨干网，养全家 Bell和Telus的历史包袱重，保留了多张相对独立的网络；Rogers恰恰相反——网络整合度高，把移动业务、固网宽带、企业专线全部收敛到同一张全国IP骨干网上。平时这是效率优势：一套团队、一套网管、一套光缆资源，成本业内最低。出事那天，这是灾难放大器：**故障域合体了**。无线和固网本是天然的双平面，Rogers自己把它们拧成了一股绳。 ### 缺陷二：控制面没有隔离域 一台（组）核心路由器的震荡，能放大成全网控制面过载，说明路由更新的风暴抑制、进入限速、故障隔离域没有起到应有的作用。业内的共识做法是给核心路由协议加上"减震器"——路由阻尼、更新限速、邻接震荡快速抑制——确保单点异常最多影响它自己那个域。Rogers的这口钟，敲响的是整个行业的警钟。 ### 缺陷三：监控的盲区 故障期间，网管系统里DNS服务器是绿的——进程活着、端口开着。但用户侧是100%的红。**设备视角的监控说"我没事"，用户视角的体验才是真相。** 这也是为什么大型运营商这几年都在推从真实用户位置发起的拨测（synthetic probing）：每5分钟从各省模拟用户做一次"DNS解析+HTTP访问+VoLTE起呼"，服务器活着但够不着这种故障，只有拨测能第一时间抓到。 ### 缺陷四：911的最后一公里 这是最要命的一环。断网后，加拿大电信业启用了紧急漫游机制（CER，Canadian Emergency Roaming）：Rogers手机自动挂到Bell/Telus网络上，恢复打电话——看起来兜底成功了。但911电话有个特殊路径：漫游网络接起电话后，按规则要把电话**转接回Rogers运营的911应答中心**（因为报警数据、位置信息、处置流程都在Rogers的应急体系里）。而这条转接通道，在故障期间大面积失灵——电话能拨出去，却卡在了"转回原运营商"的半路上。 ```mermaid flowchart TD A["Rogers手机拨打911"] --> B["本网911通道已瘫痪"] B --> C["紧急漫游CER生效
手机挂到贝尔或Telus网络"] C --> D["漫游网络接起电话"] D --> E["按规则转回
Rogers的911应答中心"] E --> F["转接通道故障
救援电话卡在半路"] ``` 兜底方案兜住了"打电话"，没兜住"救命"。这个盲区，两年后变成了两张罚单。 ## 五、处置与整改：从道歉到两亿加元账单 事故的处置与后续整改，可以分成四笔账： **第一笔：用户补偿。** 事故次日，Rogers宣布向受影响用户补偿相当于5天月费的服务抵扣。2023年秋，CRTC批准了Rogers提交的结算方案，补偿总规模**至多2亿加元**——这可能是全球电信史上最大单笔的"断网赔偿"之一。 **第二笔：政府限期整改令。** 时任创新科技与工业部长商鹏飞（François-Philippe Champagne）在事故后约谈三大运营商，要求Rogers在60天内提交整改方案，核心三条：网络冗余与故障隔离、正式化运营商间紧急漫游协议、提升911可靠性。Rogers随后承诺拆分移动与固网的故障域，让"一张网瘫、全家失联"的结构性风险逐步消解。 **第三笔：国会听证。** 2022年8月，国会工业科技委员会举行听证，Rogers CTO Fernandes出庭完整交代根因链，三大运营商高管承诺加强合作与演练。这场听证的公开记录，成了研究电信网络韧性的重要一手材料。 **第四笔：连带罚单。** 2024年6月，CRTC宣布对Bell处以1050万加元、Telus处以890万加元的行政处罚——理由是断网当天，两家未能按监管要求把911呼叫成功转接至Rogers的911应答中心。CRTC的立场很清楚：**911没有"我们尽力了"，只有"打通"和"没打通"**。这张罚单确立了一个重要先例：紧急呼叫的兜底责任，落在每一次转接路径上的每一个运营商身上，谁都别想只当"传话的"。 此后，CRTC陆续收紧重大网络事件的强制上报与复盘要求，推动运营商间911转接的常态化演练。一场事故，改写了整个加拿大电信业的应急治理框架。 ## 六、写给核心网工程师的七条军规 复盘不是看热闹。从18年核心网与运维一线的经验出发，我把这场事故的教训压缩成七条可以直接落地的军规： 1. **变更必须有隔离域。** 核心网设备的代码/配置变更，必须在逻辑或物理上先与现网隔离——影子环境验证、灰度试点设备、再全网推广。凌晨4点45分这个时间点告诉我们：夜维窗口的变更，恰恰是全网最脆弱时刻的手术。 2. **给控制面装减震器。** 路由阻尼、更新限速、邻接震荡抑制、路由表规模上限告警，这几样老手艺在SDN时代依然保命。控制面的过载，比数据面的拥塞致命一百倍。 3. **带外管理是最后的缆。** 核心网瘫痪时，你总得有一条不依赖被管网络的管理通道。带外管理网、独立于生产网的NMS通道、关键节点的console可达——平时觉得浪费，出事时是命根子。 4. **监控必须从用户视角发起。** 设备告警绿了不等于业务没死。在真实用户侧布拨测：解析、附着、起呼、上网四件套，5分钟一轮。DNS"活着但够不着"这类故障，只有端到端拨测抓得住。 5. **画一张真正的依赖地图。** 你的业务到底依赖什么？DNS在哪、认证锚点在哪、Diameter路由代理在哪、证书校验出口在哪？很多运营商画不出这张图，故障来了才逐层排雷。依赖地图要每年随网络变更更新，并做单点标注。 6. **911要按最坏情况实弹演练。** 每年至少一次，模拟"本网全瘫"场景，把漫游接入→转接→应答中心→派警的完整链条真实拨测一遍。Rogers事故证明：兜底机制的失效点，往往在两个系统的接缝上。 7. **拆分故障域，哪怕贵。** 移动与固网双平面、按区域划分IGP/BGP域、关键业务走独立承载——Rogers用近19小时的全国断网和至多2亿加元的账单告诉我们：整合省下的钱，一次事故全部吐出来还要倒贴。 ## 七、同类事故对照：Rogers不是孤例 把近几年的标志性全国性断网放在一起看，规律惊人地一致——**触发点都是"小事"，爆炸的都是控制面和管理面，而不是流量太大**： | 事故 | 时间 | 时长 | 根因类型 | 核心教训 | | --- | --- | --- | --- | --- | | Rogers全国断网 | 2022年7月 | 近19小时 | 核心网变更→路由震荡→更新风暴 | 故障域合体，移固全网一起倒 | | Facebook全站消失 | 2021年10月 | 约6小时 | 配置命令误发→BGP路由撤回 | 控制面自锁，DNS随之失联 | | Fastly全球故障 | 2021年6月 | 49分钟 | 软件缺陷被一条配置触发 | 一条配置让全球CDN扇面倒下 | | KDDI通信故障 | 2022年7月 | 约61小时 | 交换设备升级致签约管理异常 | 语音网升级，恢复流程失控 | | Optus全国断网 | 2023年11月 | 约14小时 | 防火墙ACL异常致路由更新被拦 | 公网路由接收异常，业务全停 | 五起事故，五种触发方式，同一个病理：**控制面单点异常×隔离缺失×正反馈放大**。区别只在于爆炸当量。这也是为什么我把Rogers这场称为"教科书级"——它把上面三个乘数，每一个都踩到了满分。 ## 参考来源 1. [2022 Rogers Communications outage - Wikipedia](https://en.wikipedia.org/wiki/2022_Rogers_Communications_outage) — 事故时间线、影响面与后续处罚的综合记录，附大量一手报道引用 2. [Cloudflare Blog: Rogers outage 观测](https://blog.cloudflare.com/rogers-outage/) — 第三方测量视角的断网期间流量与路由观测分析 3. [Kentik: The Rogers Communications Outage（Doug Madory）](https://www.kentik.com/blog/the-rogers-communications-outage/) — 互联网测量机构对断网时段全网流量的逐小时分析 4. [CRTC 加拿大广播电视及电信委员会官网](https://crtc.gc.ca/eng/home-accueil.htm) — 2023年调查结论与补偿方案批准、2024年6月对Bell/Telus的911处罚公告 5. [加拿大国会工业科技委员会（INDU）听证记录](https://www.ourcommons.ca/committees/en/indu) — 2022年8月Rogers高管出庭证词与三大运营商整改承诺 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。