# 重试风暴：Optus断网解剖 **概述**：2023年11月8日凌晨，澳大利亚第二大运营商Optus全国移动网络瘫痪约13小时，超过1000万个人用户和40万企业客户失联，大量用户连000（Triple Zero）紧急呼叫都拨不出去，直接酿成人命悲剧。官方事后调查给出的根因链并不复杂：一次例行的IP地址变更，触发了爱立信SGSN-MME软件里一个潜伏已久的已知缺陷，核心网设备陷入无退避的重试循环，信令风暴层层放大，最终把整个国家的移动网络拖入拥塞雪崩。本文依据澳大利亚通信与媒体管理局（ACMA）调查报告、爱立信官方声明及澳媒公开报道，复盘这次事故的时间线、根因机制、处置过程与整改措施，并回答一个核心问题：为什么一个“已知bug”能让核心网工程师敬畏三分。 ## 目录 - 一、全国静音的13小时 - 二、根因链条：一次IP变更如何掀翻核心网 - 三、级联雪崩的原理：重试为什么会杀死网络 - 四、13小时：恢复为什么这么慢 - 五、代价：人命、听证会与CEO离场 - 六、追责与整改：ACMA报告、拆网与修法 - 七、写给核心网工程师的五条教训 - 参考来源 ## 一、全国静音的13小时 2023年11月8日，澳大利亚当地时间凌晨4点刚过，Optus的移动网络开始出现异常：先是部分用户掉网，随后范围迅速扩大，到清晨通勤时间，全国范围内Optus手机普遍显示“无服务”。澳大利亚人口约2600万，Optus作为第二大移动运营商，服务超过1000万个人用户、40余万企业客户——也就是说，接近全国五分之二的人口在一个工作日的早晨集体失联。 失联的后果远不止打不了电话。据澳媒与Optus事后披露： - **通话与数据全断**：超过400万个通话无法完成，企业支付终端（EFTPOS）大面积失效，大量商铺只能收现金； - **交通瘫痪**：墨尔本、悉尼部分火车线路因通信依赖而停摆或降级运行，航空公司值机系统受影响； - **家庭与企业断联**：依赖Optus网络的家庭宽带、固定语音、物联网设备（警报器、监控）集体离线，数十万中小企业停摆； - **最致命的：紧急呼叫失败**。大量Optus用户在紧急情况下拨打000（Triple Zero，澳大利亚统一急救/报警号码）无法接通。据ACMA后续调查报告披露的口径，故障期间未能接通的000呼叫尝试以十万计——这个数字后面，是真实的生命。 对一线运维来说，这个故障曲线非常典型：凌晨4点变更、4点过开始脱网、清晨通勤高峰彻底引爆、全国媒体炸锅、上午确认根因、下午分片恢复、傍晚勉强收尾——一场教科书式的“变更引发全国性故障”。 ## 二、根因链条：一次IP变更如何掀翻核心网 ACMA最终调查报告与爱立信官方声明给出的根因链条，值得每个核心网工程师逐字读一遍。我把这条链拆成四步： **第一步：例行IP变更。** 事故当晚，Optus按计划对网络设备执行一次例行的IP地址变更——这是国际运营商网络运维中的常规动作，通常出现在安全加固或网络升级项目中，目的是调整网络中某些设备的IP资源。 **第二步：触发已知软件缺陷。** IP变更操作触发了爱立信SGSN-MME（2G/3G/4G融合核心网设备，同时承接GPRS SGSN与LTE MME功能）软件中的一个缺陷。关键信息有两条：其一，这是一个**已知缺陷**——爱立信在事后声明中确认，该问题属于“全球性软件问题”（global software issue），软件代码层面的缺陷在此前版本中即已存在；其二，**触发条件罕见**——正是这个缺陷在代码里躺了很久、在世界上其他网络里也潜伏着，却一直没有被引爆，才让所有人放松了警惕。 **第三步：MME失联并陷入重试循环。** IP地址变更后，该MME与网络中其他核心网节点（签约数据库HSS、网关等）之间的通信路径失效。按设计，节点间失联本应触发有限重试并告警；但在这个缺陷下，MME的处理逻辑出现异常——以极高频率持续重试，且缺乏有效的退避（backoff）与熔断机制，等于核心网内部自己制造了一场信令风暴。 **第四步：关键节点过载，全网退服。** 重试信令洪流冲击下，核心网中的关键共用节点（尤其是用户签约与鉴权数据库HSS这类“必经之路”）迅速过载。过载进一步拖慢所有正常业务请求，形成“过载→超时→更多重试→更严重过载”的正反馈。最终，注册、鉴权、切换、寻呼全链条失效，全网用户脱网。更麻烦的是，当网络开始恢复时，千万台终端同时尝试重新附着，又一次形成冲击波——这让恢复过程必须小心翼翼地限流、分片，直接解释了为什么恢复用了整整十几个小时。 用一张图看这条级联链： ```mermaid flowchart TD A["例行IP地址变更"] --> B["触发MME已知软件缺陷"] B --> C["MME与HSS等节点失联"] C --> D["无退避持续重试"] D --> E["核心网内部信令风暴"] E --> F["HSS等共用节点过载"] F --> G["注册鉴权寻呼全失效"] G --> H["千万终端集体脱网"] H --> I["000紧急呼叫失败"] H --> J["恢复期终端集体再附着"] J --> E ``` 注意图中那条从“恢复期终端集体再附着”指回“信令风暴”的边——这是理解本次事故“为什么拖了13个小时”的关键，后文细说。 ## 三、级联雪崩的原理：重试为什么会杀死网络 “重试放倒全网”听上去不可思议，但这是分布式系统与电信核心网里最经典的故障模式之一。用工程师的语言拆解一遍： **1. MME是4G用户的“户籍警+交通警”。** 终端开机要附着（attach）、移动要位置更新（TAU）、来话要寻呼（paging）、上网要建承载（bearer）——每一件事都要经过MME，且MME的每一个决定几乎都要查HSS（签约与鉴权数据）。MME与HSS之间走的是Diameter/SCTP长连接，正常情况下信令量平稳可预测。 **2. 重试风暴的本质是“把故障放大n倍”。** 网络设计时，容量规划基于“正常用户行为模型”：多少附着、多少TAU、多少寻呼。而当MME陷入异常重试时，它对下游节点发起的请求量可能是正常值的成百上千倍。HSS的每秒事务处理能力是按峰均比设计的，遭遇这种量级的洪流只有一个结果：请求排队、超时，而客户端把超时又当作“需要重试”的信号——雪球滚起来了。 **3. 拥塞的正反馈没有天然刹车。** 在TCP的世界里，拥塞靠“丢包退避”这个负反馈活命。但在一些核心网节点的实现里，重试策略、退避间隔、熔断阈值并没有被当作与转发面同级的“生死参数”来设计和测试——尤其是当一个缺陷恰好破坏了这些保护逻辑时。这次事故里，缺陷叠加“变更窗口凌晨执行、值守人力最薄弱”，保护机制没有及时刹住车。 **4. 为什么紧急呼叫也挂了。** 现代移动网络的紧急呼叫（000/911/112）并非“空中楼阁”：终端必须先完成网络注册，呼叫建立要经过MME的紧急承载创建与路由。当用户连网络都附着不上、MME自身都在风暴中挣扎时，紧急呼叫的优先通道同样被淹没。这是本次事故最沉痛的技术教训：**紧急呼叫的可用性上限，就是整个核心网可靠性的下限**。设计上“紧急呼叫优先”的前提，是控制面本身还活着。 顺带做一个横向对照（仅列要点，各案例此前已有专文深挖，此处不展开）：加拿大Rogers 2022年断网是维护操作触发核心网设备异常导致路由面崩塌；美国AT&T 2024年2月断网是网络变更中配置错误所致；Facebook 2021年断网是BGP配置变更自我撤除。把它们和Optus这次放在一起，规律刺眼地一致——**近年全球重大断网，几乎清一色死在“变更+缺陷+保护失灵”这个三角上，而不是死在天灾或硬件寿命上**。 ## 四、13小时：恢复为什么这么慢 很多读者会问：不就是软件问题吗，重启回滚不就完了？这恰恰是本次事故最值得复盘的部分——**恢复比故障更难**。 **难点一：不敢简单回滚。** IP变更已执行，网络状态已改变；直接回滚变更能否让缺陷退回潜伏状态，事发当时并没有十足把握。故障期间Optus与爱立信需要联合定位：先确认是MME软件问题，再确认与IP变更的因果关系，然后才能制定恢复动作。这消耗了大量时间。 **难点二：恢复不能一步到位。** 假设修复动作下发后全网瞬时恢复，千万台终端会同时检测到网络可达、同时发起重新附着——这将形成比故障初期更猛的信令海啸，大概率把刚恢复的核心网再次打崩（图中那条回边）。所以恢复必须**分域、分批、限流**：先恢复一部分区域，观察核心网负荷，再放量。这就像电网黑启动，不是合闸，是爬坡。 **难点三：用户体验层的长尾。** 即便核心网恢复，大量终端仍处于脱网状态，部分需要重启或开关飞行模式才肯重新入网。运营商只能通过媒体呼吁用户“重启手机”——这在当天下午成了澳大利亚社交媒体的名场面。 把当天的主要节点整理成时间线（依据ACMA报告与澳媒公开报道整理，具体分钟级时刻以官方报告为准）： ```mermaid timeline title 2023年11月8日：Optus断网13小时 凌晨04时前后 : 例行IP变更执行 : MME缺陷被触发 : 用户开始脱网 清晨 : 脱网范围扩大至全国 : 通勤高峰彻底引爆 : 媒体与社交媒体炸锅 上午 : 确认核心网MME故障 : 与爱立信联合定位 : 启动重大事故响应 中午 : 确认根因为已知软件缺陷 : 制定分片限流恢复方案 : 逐步恢复启动 下午 : 分域分批放量恢复 : 呼吁用户重启终端 : 傍晚基本恢复 之后数周 : 参议院听证会 : 爱立信公开认责 : CEO宣布辞职 ``` 从凌晨4点到下午5点前后，约13个小时，媒体普遍以“约1300万澳人受影响”“400万通电话打不通”“10万+次紧急呼叫失败”作为标志性数字引用。对运营商而言，这是一个必须写进公司史册的日子；对行业而言，这是一份任何人都不想重演的考卷。 ## 五、代价：人命、听证会与CEO离场 技术事故的账，最终都要用商业、声誉和人命来结算。Optus这次三项全中。 **人命层面。** 据澳媒广泛报道，故障期间至少发生两起与000拨打失败相关的死亡事件：南澳大利亚州一名女士在家中突发心脏骤停，其家人用Optus手机多次拨打000未接通，转由邻居电话呼救为时已晚；维多利亚州一对双胞胎婴儿死亡事件，最初因家庭监控与通话受断网影响而引爆舆论，事后调查显示该家庭并非Optus用户，悲剧与断网的直接因果被排除——但公众的愤怒早已定形。无论个案因果如何，“千万人在关键时刻打不出求救电话”这个事实本身，已足以让这场事故从“通信故障”升格为“公共安全事件”。 **政治与监管层面。** 事故直接惊动澳大利亚联邦议会。Optus高层赴参议院接受质询，就根因、延迟恢复、紧急呼叫失败等接受议员们数小时的拷问。澳大利亚总理与通信部长公开发声，要求彻查。一家运营商的断网升级到国会听证，这个级别在澳大利亚电信史上并不多见。 **人事层面。** 时任CEO Kelly Bayer Rosmarin在参议院作证后不久宣布辞职，为事故承担最终责任。随后Optus启动管理层与网络架构的双重整顿；据澳媒后续报道，2024年下半年，原NBN公司CEO Stephen Rue接任Optus掌门。爱立信方面，CEO Börje Ekholm公开道歉，并确认该软件缺陷属于全球性问题、涉及多个运营商网络——换句话说，**这次不是Optus独家的倒霉，而是全行业踩在同一颗雷上，Optus成了引信被点燃的那个**。据后续报道，多家其他运营商在事后紧急排查自身网络中同款设备与软件版本，紧急打补丁。 **商业层面。** 40余万企业客户停摆一天的损失、面向客户的补偿方案（Optus事后推出了话费补偿与赔付计划）、品牌信任的重创，以及后续持续数年的网络整改投入——这笔账外界难以精确统计，但方向明确：比一次“变更演练”的成本高出几个数量级。 ## 六、追责与整改：ACMA报告、拆网与修法 **ACMA的定性。** 澳大利亚通信与媒体管理局（ACMA）对事故展开正式调查，并于2024年发布最终调查报告。报告确认了前述根因链条（IP变更触发爱立信SGSN-MME已知缺陷、重试导致核心网过载），并认定Optus在紧急呼叫服务的提供上违反了相关监管规定。颇具讽刺意味的是，ACMA公开表示：依照当时的法律，对此次重大事故竟缺乏足够有力的罚款工具——ACMA主席直言这是监管框架的漏洞。 **合规承诺（compliance undertaking）。** 最终的处理路径是：Optus与ACMA达成具有法律约束力的合规承诺，承诺按监管要求完成一系列整改并接受监督。这包括网络架构改造、紧急呼叫能力冗余、变更管理流程强化等具体义务。 **网络架构层面的整改：把“一个国家的网”拆开。** 本次事故最核心的结构性教训是：Optus此前全国移动网络的核心网在容灾域划分上过于“整体”——一个域的雪崩可以席卷全国。整改方向业界早有共识，这次被血淋淋地验证了一遍： | 整改维度 | 事故前的结构性短板 | 整改方向 | | --- | --- | --- | | 故障域划分 | 全国近似单一故障域，核心网雪崩可全国蔓延 | 拆分为多个相互隔离的独立域，爆炸半径限制在区域 | | 软件缺陷管理 | 已知缺陷潜伏未被纳入变更风险评估 | 建立known-issue与版本基线的强制核对，高危缺陷在变更前专项评审 | | 重试与拥塞控制 | 缺陷击穿重试保护，无退避、无熔断 | 信令风暴检测与自动抑制、重试退避与限流作为必测项 | | 紧急呼叫韧性 | 000接入依赖主网络注册与控制面存活 | 紧急呼叫多路由冗余、独立监测、跨网兜底能力 | | 变更管理 | 凌晨变更+全国范围单次实施 | 缩小变更爆炸半径、分批实施、回滚预案与值守强化 | **立法层面的补课。** 事故后，澳大利亚政府推动修法，大幅提高涉及紧急呼叫重大故障的处罚力度——从“几乎罚不动”到让企业真正肉疼的量级。监管的逻辑很直白：对人命攸关的服务，经济处罚必须大到足以改变企业的风险排序。 ## 七、写给核心网工程师的五条教训 十八年核心网与运维一线的经验告诉我：事后复盘所有重大断网，真正的 lesson 几乎没有新的，新的是“这次轮到谁付学费”。Optus这一课，值得写进每支核心网团队的变更手册： **1. 已知缺陷是变更评审的一等公民。** “known issue”不能只是知识库里的一个条目。任何网络变更前，必须把本次涉及网元的版本known issue清单拉出来，逐条评估“本变更是否会触发触发条件”。这次事故里，缺陷是已知的、触发条件是罕见的、后果是核弹级的——三者相乘，本应在变更评审会上被拦下来。可验证的事实是：缺陷存在于全球多张网络，最终只在这张网引爆，差异就在变更管理的颗粒度。 **2. 重试必须有退避，退避必须有上限。** 把“重试风暴”列入核心网高可用设计的必答题：任何跨节点调用的重试策略，都要回答三个问题——退避间隔是多少？重试总上限是多少？熔断由谁触发？并将其作为版本升级与集成测试的强制验收项。拥塞控制的保护逻辑本身，需要与业务逻辑同等级的测试覆盖。 **3. 故障域要小，全国一张网就是全国一次赌。** 移动核心网的池化与集中化带来了效率，也带来了“雪崩半径=国土面积”的结构性风险。分域、分池、异地多活不是成本，是保险。问题只有一个：你要在事故前买，还是事故后买？Optus给出的价格是：13小时、千万用户、人命与CEO。 **4. 紧急呼叫的冗余要按“全网全挂”来设计。** “紧急呼叫优先”的前提是网络活着。监管侧与运营商侧都要假设：控制面可能整体瘫痪。多路由、多运营商兜底、独立于主网的监测与告警，应是紧急呼叫体系的基础配置，而不是加分项。澳政府事后修法重罚紧急呼叫故障，等于把这个要求写进了法律。 **5. 恢复预案要演练到“再附着海啸”这一层。** 很多团队的应急预案止步于“故障恢复”——但大规模脱网后的重新附着洪峰，本身就是一次可预期的信令风暴。恢复限流、分批放量、终端行为引导（如何让千万台终端“排队回家”），应当与大网割接一样列入演练科目。记住：网络崩溃的方式千千万，但把网络“救活”的速度，才是用户真正感受到的可靠性。 最后说一句行业层面的观察。这起事故与Rogers、AT&T、Facebook的断网一起，构成了近年全球重大故障的“变更大年”——技术越集中、越自动化、越池化，单次人为错误的爆炸半径就越大。AI运维（AIOps）能否改变这个格局？方向上可以更快检测、更快定位，但如果变更评审、缺陷管理、故障域隔离这些“笨功夫”不落地，再聪明的AI也只是更快地告诉你“已经崩了”。故障复盘的价值，从来不是给事故定罪，而是让下一张网络有机会不交这份学费。 ## 参考来源 > **诚实声明**：本篇写作环境无法实时联网核验，以下链接为各机构官方网站入口而非深链；文中事实均基于公开报道与官方发布整理，关键数字（受影响用户数、通话失败数、紧急呼叫失败量级）以官方报告原文为准，建议读者按下列标题在对应官网或搜索引擎检索原文。 1. [ACMA — Optus mobile network outage of 8 November 2023](https://www.acma.gov.au) — 澳大利亚通信与媒体管理局对本次断网的正式调查报告页（官网内可检索报告标题获取PDF），根因认定与紧急呼叫违规认定的权威出处 2. [Ericsson — Statement on Optus network outage](https://www.ericsson.com) — 爱立信官方声明，确认SGSN-MME软件“全球性软件问题”及CEO公开道歉，可在官网新闻栏目检索"Optus" 3. [Optus — Network outage updates and remediation](https://www.optus.com.au) — Optus官方事故说明、客户补偿计划与网络整改进展公告 4. [Australian Parliament — Senate Estimates hearings on Optus outage](https://www.aph.gov.au) — 参议院听证会记录与高管质询实录，人事与追责过程出处 5. The Guardian / Reuters / Light Reading 2023年11月—2024年相关报道 — 事故时间线、两起死亡事件报道、修法进展（澳媒综合报道，个案细节以验尸与官方调查结论为准） --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。