# Optus两次断网：同一块石头 ## 概述 2023年11月8日凌晨，澳大利亚第二大运营商Optus因一次例行软件升级引发BGP路由雪崩，全国移动、固话、宽带瘫痪约13个小时，超过1000万用户、40万家企业受影响，母公司新电信单日市值蒸发超20亿澳元，CEO因此辞职。将近两年后的2025年9月18日，又是凌晨，又是一次例行变更——这次倒下的是Triple Zero（000）应急呼叫专线，约600通报救电话失败，4人死亡。本文依据澳参议院调查材料、Optus官方声明与公开报道，复盘两次事故的时间线、根因与处置，回答一个运维人最该问的问题：为什么三年整改后，我们会在同一块石头上摔倒两次？ ## 目录 - 一、先说结论：两次事故，同一类病根 - 二、2023年11月8日：一次升级放倒全国网络 - 三、根因深挖：BGP路由雪崩的完整链条 - 四、影响评估：20亿澳元市值蒸发与打不通的000 - 五、处置复盘：为什么恢复用了十几个小时 - 六、2025年9月18日：000专线失守13小时 - 七、两次事故对照：三年整改改了什么 - 八、给运维人的六条硬教训 - 九、监管落锤：从国会听证到联邦法院 - 结语 ## 一、先说结论：两次事故，同一类病根 先把结论放在最前面，方便带着结论看细节： **2023年的全国断网，病根是“保护机制本身成了最大的单点”**——边缘路由器为防止路由更新风暴设置了自动下线的保护阈值，而这个阈值低到一次正常的路由收敛就能触发，于是 designed to fail safe 的机制一次性放倒了约90台边缘路由器，全国瘫痪。 **2025年的000呼救故障，病根是“监控与升级流程把最要命的路径排除在外”**——防火墙升级后的测试只验证普通呼叫，话务量监控体系根本不统计000呼叫，于是“没有告警”被当成了“没有故障”，用户打不通报警电话长达13个小时，直到客户直接打电话来、南澳警方来质询，才有人动手回滚。 一次是网络层的雪崩，一次是流程层的失明。表面上是两个不同的技术故障，深挖下去是同一个组织病灶：**变更管理和故障预案，都只在“正常世界”里演练过，从没在“最坏世界”里验证过。** 这个结论怎么来的，往下看。 ## 二、2023年11月8日：一次升级放倒全国网络 先看当天的时间线（时间为澳东夏令时AEDT）： | 时间（AEDT） | 事件 | | --- | --- | | 凌晨（升级窗口） | 新电信位于北美的汇接局执行例行软件升级，升级后一台路由器离线 | | 04:05 | Optus全国用户侧网络开始批量断连，移动、固话、宽带同时受影响，部分DNS解析停止工作 | | 05:00–06:00 | 墨尔本地铁司机无法与调度中心联系，市区线路全线停运，全天约500个班次取消 | | 上午 | 银行、医院、大学、EFTPOS刷卡支付大面积瘫痪；虚拟运营商Dodo、Amaysim等租用Optus网络的品牌全部断网 | | 11:30 | 仅恢复约11% | | 13:00 | 恢复至约88% | | 18:00 | 大部分业务恢复；间歇性异常持续到11月9日 | 几个量级数据，来自路透社、SMH、BBC等媒体的报道汇总：直接影响超过**1000万人**和**40万家企业**；Optus约占澳大利亚移动市场25%、固网宽带市场19%；母公司新电信（Singtel）在新加坡交易所股价单日下跌4.8%，市值蒸发超过**20亿澳元**。 Cloudflare的公开BGP观测数据（AS4804，Optus自治域）给出了最直观的技术证据：**事发时段一小时内出现了超过94万条BGP路由公告，而该节点平时的正常水平是每小时不到3000条**——放大300多倍的路由更新风暴，就是这场事故的地震波。 ## 三、根因深挖：BGP路由雪崩的完整链条 根据Optus提交澳参议院环境与通信常务委员会的调查材料，事故链条是这样的： ```mermaid flowchart TD A["新电信北美汇接局例行软件升级"] --> B["升级后一台路由器离线"] B --> C["向全网下发海量路由更新"] C --> D["Optus边缘路由器路由表剧烈刷新"] D --> E["刷新速率超过设备预设保护阈值"] E --> F["约90台边缘路由器触发保护性自动下线"] F --> G["全国移动、固话与宽带同时中断"] ``` 逐段拆解： **第一环，触发点。** 凌晨的软件升级发生在新电信的北美汇接局，不在Optus自己网内。升级导致其中一台路由器离线，这是变更中并不罕见的场景。值得注意的是，参议院材料和Singtel都强调：**软件升级本身不是故障原因**——升级只是扣动了扳机。 **第二环，放大器。** 一台路由器离线后产生的路由信息更新，被Optus的IP承载网“误读”，引发全网路由表的剧烈刷新。对BGP稍有经验的读者都见过类似场景：一条路由撤销引发一批路由重新计算，重新计算又产生新的更新公告，在收敛完成前形成公告风暴。Cloudflare观测到的94万条/小时，就是这场风暴的波形记录。2021年Facebook全网下线事件（BGP撤销导致自身从互联网“消失”）与本次事故在机理上同源，当时《卫报》等媒体也第一时间做了类比。 **第三环，致命一击。** 真正把事故升级为全国灾难的，是路由器的**保护性自动下线机制**。当路由更新速率超过设备上预设的默认阈值时，边缘路由器不是丢包或限速，而是直接把自己从网络里摘除，以此自保。约90台边缘路由器先后这样“自杀”，全国性中断就此形成。提交给参议院的报告明确指出，触发下线的是设备上**预先配置的默认阈值**——也就是说，这套保护机制从上线那天起，就没有人按照Optus网络的现实话务模型去校准过它。 **第四环，雪上加霜。** 保护机制下线后不会自动回来。恢复过程需要在14个站点对100多台设备逐台操作，多数可远程执行，部分站点必须人员到场。这就是为什么恢复曲线如此平缓——11:30才恢复11%，13:00恢复88%。 给核心网和承载网运维同行划两个重点： 1. **“保护动作”必须是分级、可回退、可观测的。** 阈值触发的自动下线是最后手段，如果它的触发条件比一次正常收敛还宽，它就不是保险丝，而是定时炸弹。 2. **凌晨4点的变更窗口，本来就押注在“出事后有人清醒”上。** 这次事故的故障信号出现在04:05，真正开始批量恢复是上午——值班体系对全网级故障的最初响应几乎是空白。 ## 四、影响评估：20亿澳元市值蒸发与打不通的000 技术事故的账好算，社会影响的账更要算： - **支付瘫痪**：EFTPOS是澳洲线下支付的绝对主力，断网让无数小商户当天直接停业。事后Optus提出给后付费用户补偿200GB流量、预付费用户周末不限量，舆论一片哗然——“商户损失的是一天的营业额，不是流量”，这是当时澳洲媒体采访中最典型的用户反馈。 - **交通中断**：墨尔本地铁早高峰停摆，约500个班次取消，暴露出关键基础设施对单一运营商通信的深度依赖。 - **应急呼叫失守**：固话及基于Optus网络的000紧急呼叫中断。据当时澳大利亚媒体广泛报道，故障期间**约2300余通000呼救未能接通**（此数字为媒体广泛引用，官方逐案核查的完整结论未完全公开）。这也是后来监管追责的核心：对一个电信运营商来说，普通用户断网是体验问题，000打不通是人命问题。 - **市场与政治后果**：母公司市值单日蒸发超20亿澳元；联邦政府通信部长宣布审查，参议院通过动议启动公开调查。11月20日，事故发生仅12天后，CEO Kelly Bayer Rosmarin辞职——从Rogers到Optus，近年多起重大断网事故证明了一条规律：**CEO为网络事故辞职，通常不是因为技术，而是因为事故暴露出的组织失能与沟通失败。** ## 五、处置复盘：为什么恢复用了十几个小时 从运维视角复盘处置过程，有三个值得琢磨的点： **恢复慢，慢在“保护性下线”不可批量唤醒。** 设备把自己摘除后，重连需要逐台确认状态、逐站点操作，14个站点100多台设备的恢复是纯人肉工程。自动化程度再高的网络，遇到这种“大面积自我隔离”的故障模式，恢复都退回到手工时代。 **沟通慢，慢在“不知道该说什么”。** 断网发生后数小时内，Optus没有向公众发送任何短信告警（讽刺的是，网络断了，短信通道其实也是自己家的）。Rogers 2022年断网、KDDI 2022年断网都暴露过同样的问题：运营商对外沟通的第一责任人不是公关部，而是事先定义好的应急指挥体系。没有体系，就只能等CEO出面，而CEO出面时舆情已经发酵了半天。 **根因定位快，靠的是外部数据。** Cloudflare的路由观测数据在事发当天就锁定了BGP异常，这比运营商内部定位快得多。这提示我们：**大型运营商的故障定位，不能只依赖自家监控系统，第三方观测点（公共路由采集平台、对等互联方的数据）是重要的外部校验源。** ## 六、2025年9月18日：000专线失守13小时 如果说2023年的事故还能归为“ unforeseeable 的技术雪崩”，那2025年9月18日的事故，就是把组织病灶拍在了桌面上。这一次，Optus的全国网络本身是通的——**只有000应急呼叫打不通**，而这恰恰是最不能断的一条线。 ```mermaid timeline title 2025年9月18日 Optus 000呼救故障约13小时 0时30分 : 防火墙例行升级开始 清晨起 : 北领地、南澳、西澳000呼叫间歇性失败，普通通话正常 9时 : 首位客户来电报告000打不通，此后至少5通告警电话均未升级处理 13时30分 : 又一客户直接来电告警 13时50分 : 南澳警方主动质询 随后 : 停止升级并回滚防火墙变更 深夜 : Optus开始对呼救失败用户逐一做安全回访 9月19日 : 新闻发布会披露疑似关联死亡 9月20日 : 确认第4例关联死亡，CEO公开道歉 ``` 按Optus官方声明与参议院听证披露的信息，这13个小时里堆叠了四层失效： **第一层，变更设计失效。** 凌晨0时30分开始的防火墙“例行升级”波及了000呼叫的处理路径。000呼叫在Optus网内走一套独立的应急呼叫系统，防火墙变更后，这套系统的呼叫被**直接拦截**。升级后的初始测试只验证了普通呼叫“按预期接通”，没有人打过一通000来验证应急路径。另外，新南威尔士州布罗肯希尔的两通失败呼叫，是因为当地用户经由南澳的基站接入——区域间的话务路由关系，同样不在变更影响评估的视野内。 **第二层，监控盲区。** Optus在声明中承认：全国话务量监控“没有触发任何红灯”，因为**监控体系根本不统计000呼叫**。“没有告警”和“没有故障”是两回事，但当晚没有任何一个系统能区分这两者。这是全篇最值得每一位网优网管记住的一句话：监控只覆盖你以为重要的东西，而最重要的东西往往不在你以为的清单里。 **第三层，告警升级流程失效。** 从上午9点起，至少5位客户打进客服热线报告000打不通——包括一位家里有急救需求的南澳男士——客服没有一通报警被升级到网络团队。事后Optus复查发现还有至少3通类似来电同样未被处理。CEO Stephen Rue在参议院听证会上把这归咎于一线员工未执行升级流程，但11月3日的听证会披露了一个更扎心的数字：**当天Optus董事会层面开了11次危机会议**——公司高层激烈讨论了一整天，而用户报警电话在一线就被消化掉了。金字塔两端都很忙，中间的升级通道是断的。 **第四层，对外通报失效。** Optus是在**完成回滚之后**才通知应急部门和监管机构发生了故障；西澳政府直到次日下午——事故发生超过24小时后——才被告知存在疑似关联死亡，且Optus最初只通报了西澳149通失败呼叫中的26通；南澳州长办公室获知消息的时间，与新闻发布会同步。西澳代理州长公开指责Optus违反了000故障的通报协议；南澳警察总监不得不亲自致电CEO索要受影响用户名单，因为Optus最初只肯给一份“哪些城区有失败呼叫”的清单。 **代价是人命。** 约600通000呼叫失败。Optus的安全回访和警方核查确认了4名死者：南澳一名8周大的男婴和一名68岁女性、西澳一名74岁男性和一名49岁男性——他们生前都曾尝试拨打000。南澳警方后续核查认为男婴的死亡“不太可能”因呼救延迟所致；其余案例仍在死因研讯程序中。作为复盘文章，我们不替法庭下结论，只陈述运维事实：**在他们拨出求救电话的那一刻，这张网没有兑现电信运营商最底层的承诺。** ## 七、两次事故对照：三年整改改了什么 把两次事故并排放，答案很难看： | 维度 | 2023年11月8日全国断网 | 2025年9月18日000故障 | | --- | --- | --- | | 触发事件 | 新电信北美汇接局例行软件升级 | 自家防火墙例行升级（凌晨0:30） | | 故障范围 | 全国移动、固话、宽带全瘫 | 仅000应急呼叫（普通通话正常） | | 持续时间 | 约12–14小时 | 约13小时（0:30–13:30） | | 技术根因 | 路由更新风暴触发保护阈值，约90台边缘路由器自动下线 | 防火墙变更拦截000呼叫，且升级验证不含应急路径 | | 监控盲区 | 值班体系对全国级故障无快速感知 | 话务监控不含000呼叫 | | 告警来源 | Cloudflare等外部观测 | 客户来电5次以上＋警方质询 | | 对外沟通 | 数小时无短信公告 | 回滚后才通知监管，晚于发布会告知州政府 | | 直接后果 | CEO辞职、参议院调查 | 4人死亡、ACMA联邦法院诉讼 | 三年时间，Optus换了CEO，经历了参议院调查，提交了整改承诺——然后一次**同样发生在凌晨、同样源自例行变更、同样没有把“最坏路径”纳入验证**的事故，落在了杀伤力最大的那条业务线上。2023年断的是“生活”，2025年断的是“性命”。 更值得行业警醒的是，这不是Optus一家的问题：2025年11月18日，TPG Telecom因老旧软件问题发生几乎同类的000呼叫故障，确认至少1人死亡，12月又通报第二例疑似关联死亡；11月26日Optus在墨尔本Frankston地区的光缆被人为破坏，再次导致含000在内的服务中断。**澳大利亚电信业的应急呼叫保障，在2025年呈现出系统性脆弱。** ## 八、给运维人的六条硬教训 两次复盘看完，提炼六条能直接带回自己网络里的教训： 1. **变更影响评估必须覆盖应急路径，并且用真实拨测验证。** “普通呼叫通了”不等于“000能通”。关键业务（应急呼叫、网管通道、带外管理、计费伴生系统）必须有自己的变更后验收用例，一票否决制。 2. **监控清单要“从后果倒推”，而不是“从指标堆砌”。** 问自己一个问题：如果我网内最重要的那条业务线全断了，哪一条KPI曲线会动？如果答案是“没有”，监控体系就有盲区。000类业务需要独立的端到端拨测和话务基线告警，而不是混在大盘话务量里。 3. **保护机制要按现实话务建模校准，并做失效模式分析。** 阈值类保护（路由更新速率、信令负荷、CPU门限）上线前要回答：全网正常收敛时会不会误触发？误触发的爆炸半径是多大？有没有分级降级方案而不是一刀切下线？ 4. **客户投诉是最便宜的告警源，给它修一条直达通道。** 5通报警电话没有一通到达网络团队，说明客服到网管的升级流程是纸面上的。对“呼救打不通”这类高等级关键词，应当触发强制升级（Optus事后也承诺建立compulsory escalation process），并且由系统而不是人的判断来执行。 5. **故障对外通报预案要“先于恢复”启动，监管与政府通报有时限红线。** 两次事故里Optus都把通报放在了恢复之后，两次都被打得很惨。先通报“我们正在处理什么”永远好过事后解释“我们为什么瞒了13个小时”。 6. **凌晨变更要配“最坏世界”预案。** 凌晨窗口的假设是“出事有人处理”，要验证的是：告警能不能叫醒该叫醒的人？回滚方案有没有在低话务时段演练过？二次回滚（回滚也失败）的预案在哪？没有这三问，凌晨窗口省下的不是时间，是运气。 ## 九、监管落锤：从国会听证到联邦法院 2023年事故的直接监管后果是参议院公开调查与整改承诺；而2025年事故把追责推到了新高度。2026年7月底，澳大利亚通信与媒体管理局（ACMA）宣布就2025年9月的000故障**向联邦法院对Optus提起诉讼**，指控其违反两项法定义务超过1000次（此处以ABC报道标题披露的信息为准，具体指控条目以法院文件为准）。联邦通信部长Anika Wells在事发后即定性该故障“极其严重且完全不可接受”；反对党则点名质问澳洲000体系的camp-on机制——按设计，本运营商无法接通的应急呼叫应能驻留转接至其他运营商网络，为什么在Optus故障中未生效——这一质问把火从Optus烧向了整个000体系的架构设计。 可以预判的走向：澳洲将对应急呼叫保障施加更重的罚款上限、更强的强制通报时限，甚至重构多运营商间的000互备机制。对全球同行来说，这也是一个明确的监管信号——**应急呼叫正在从“一张网的责任”变成“监管直接下场验收的国家级基础设施”**，随之而来的合规成本（独立拨测、强制升级流程、监管直连告警）会逐步写进各国电信法规。 ## 结语 复盘Optus这两场事故，最让一线工程师后背发凉的不是技术多复杂——BGP雪崩和防火墙误拦截，都是教科书级的问题——而是**两家公司的流程都“正常运转”了**：变更按计划执行了，升级后测试通过了，监控系统没有任何告警，客服按话术记录了来电。每一个环节的当事人都可以说“我按流程做了”，然后千万人的网络瘫了，四条人命没了。 这就是大型网络运维最深的教训：流程防的是“有人犯错”，防不了“所有人都按一个有缺陷的流程犯错”。而发现流程缺陷的唯一方法，是定期让最坏的情况在你的预案里先死一次——拨测打一通000，拔一次主用，断一次监控，看看你的网络和你的组织，谁先瞎掉。 ## 参考来源 1. [2023 Optus outage - Wikipedia](https://en.wikipedia.org/wiki/2023_Optus_outage) — 本文2023年事故时间线、规模数据与根因描述的综合来源，其引用链覆盖路透社、SMH、BBC、9News及参议院调查材料 2. [2025 Optus emergency calling outage - Wikipedia](https://en.wikipedia.org/wiki/2025_Optus_emergency_calling_outage) — 本文2025年事故时间线、监控盲区、通报失败与死亡案例的核心来源，引用Optus CEO官方声明（2025-09-19/20/21）及ABC、卫报澳大利亚版报道 3. 澳大利亚参议院环境与通信常务委员会《Optus Network Outage》调查材料（2023-11-17） — “约90台边缘路由器保护性下线”“Cisco预设默认阈值被超过”等根因细节的原始出处（转引自来源1参考文献） 4. Cloudflare Radar 公开BGP观测数据（AS4804，Optus自治域） — “每小时94万条路由公告对比日常不足3000条”的观测来源（转引自来源1参考文献） 5. Mark Gregory《Optus Triple Zero outage has left 4 people dead. A telecommunications expert explains what went wrong – and how to fix it》，The Conversation（2025-09-21） — 学术视角的000体系缺陷分析（转引自来源2参考文献） 6. ABC News《ACMA to sue Optus in Federal Court over 2025 network outage》（2026-07-30） — ACMA联邦法院诉讼及“违反两项法定义务超过1000次”指控的报道（转引自来源2参考文献） --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。