## 概述 同一家运营商，两年之内，两次全国级瘫痪：2023年11月8日，澳大利亚第二大运营商Optus因一次海外节点的例行软件升级引发路由更新风暴，约90台边缘路由器集体触发保护机制脱网，超1000万用户断网约14小时；2025年9月18日，又是一次凌晨的例行升级——这次是防火墙——导致三零（000）紧急呼叫中断13小时，并关联多起死亡事件，最终在2026年7月被监管机构告上联邦法院，面临最高或超2.5亿澳元的罚单。本文以澳大利亚政府官方审查报告、ACMA调查文件和多份行业深度报道为主轴，完整复盘两起事故的时间线、根因链条、处置过程与监管后果，并提炼出六条可以直接抄进你自己变更管理手册的硬教训。 ## 目录 - 一、第一次瘫网：凌晨4点05分，1000万人同时失联 - 二、剥洋葱：一次例行升级如何放倒一张全国网 - 三、第二击：2025年9月18日，000打不通的13小时 - 四、监管重锤：从1200万澳元到被告上联邦法院 - 五、写给运维人的六条硬教训 - 六、结语：故障会重演，但根因不该 ## 一、第一次瘫网：凌晨4点05分，1000万人同时失联 2023年11月8日凌晨4点05分（AEDT，澳大利亚东部夏令时），Optus的网络监控大屏开始大面积变红。最先断的是移动网用户，紧接着域名解析服务也停了。按照后续提交给澳参议院调查委员会的资料和多家媒体的复盘，从这一刻起，Optus全国的互联网、移动和固定话音业务陆续中断，波及超过1000万个人用户（ABC报道口径为1020万）和约40万家企业用户。 Optus是新加坡电信（Singtel）的子公司，澳大利亚第二大移动运营商，移动用户超千万，全国约25%的人用它家手机卡、19%用它家宽带。换句话说，这张网一瘫，相当于每四个澳大利亚人里就有一个“被下线”。 Australian Financial Review 当天的标题是《Optus outage cuts off millions, emergency calls》——emergency calls这个词放在标题里，意味着事情已经不只是“断网”这么简单。 影响面有多大？看几个具体场景：医院、银行、大学、支付系统（EFTPOS）全面受影响；墨尔本城铁因司机无法与控制中心通信，早上5点到6点直接停驶，全天约500个班次取消；使用Optus网络的转售品牌（Dodo、Amaysim、Moose Mobile等）全军覆没；固定电话拨打000紧急呼叫失败。资本市场的反应同样直接：当天新交所（SGX）上Singtel股价下跌4.8%，市值蒸发超过20亿澳元；摩根大通测算，若有2.5%的用户转投Telstra，后者未来几年利润可增加1.25亿澳元。 完整时间线如下表： | 当地时间（AEDT） | 事件 | | --- | --- | | 11月8日 04:05 | Singtel海外节点例行软件升级后，路由信息变更传入Optus网络，用户网开始大面积断连，DNS服务随之停摆 | | 04:05起 | 约90台边缘路由器因路由更新量超过保护阈值，触发自动保护机制依次脱网 | | 05:00–06:00 | 墨尔本城铁因通信中断停驶，全天约500班次取消 | | 约09:00 | 断网约9小时后，管理层对外称找到恢复路径 | | 11:30 | 约11%业务恢复 | | 13:00 | 约88%业务恢复 | | 18:00前后 | 大部分业务恢复，间歇性故障持续到11月9日 | 恢复过程本身就是一次大型战役：涉及全国14个站点的100多台设备，大部分靠远程操作，部分站点因为网络本身瘫了、远程通道不可达，工程师只能连夜赶往现场手动处置。如果你做过核心网或IP承载网的重大故障处理，会懂这句话的分量——**带外管理通道在全网瘫痪时就是唯一的命脉，而它恰恰经常被忽略**。 用Mermaid把当天的时间线画出来，更直观： ```mermaid timeline title 2023年11月8日 Optus全国断网时间线 section 11月8日 凌晨4时05分 : STiX互联网络例行升级完成 : 路由变更传入Optus网络 清晨 : 约90台边缘路由器触发保护脱网 : 墨尔本城铁停驶 上午9时 : 管理层称找到恢复路径 上午11时30分 : 约11%业务恢复 下午1时 : 约88%业务恢复 傍晚6时 : 大部分业务恢复 : 间歇故障持续到次日 ``` ## 二、剥洋葱：一次例行升级如何放倒一张全国网 事故第二天，各种猜测满天飞——网络攻击、光缆被挖断、设备批次故障。Optus很快排除了网络攻击。真正的根因，在11月13日的官方声明和后续的参议院听证、ACMA调查中一层层剥了出来。 Optus的官方说法是：凌晨4点05分，“Optus网络收到了来自一个国际互联网络（international peering network）的路由信息变更，该变更源于一次例行软件升级”。这次升级发生在Singtel位于北美的交换节点上，属于STiX国际互联网络的一部分。变更本身是“例行”的，但它注入生产网的路由数据，在Optus网络内部引发了一场路由更新风暴——Cloudflare Radar上AS4804（Optus自治域）的公开数据印证了这一点：该节点平时每小时的路由通告量通常不到3000条，事发时段却飙升至超过94万条/小时，暴涨三百倍。 然后是最致命的一环：Optus全网约90台思科供应商边缘（PE）路由器，因为路由更新量超过了**出厂缺省的保护性阈值**，触发了自动保护机制，像多米诺骨牌一样依次脱网。iTNews对事故的定性报道标题说得很直白：《Optus outage blamed on edge router default settings》—— edge路由器的缺省设置，成了压垮全国网的扳机。 完整的根因链条是这样的： ```mermaid flowchart TD A["STiX互联网络海外节点例行升级"] --> B["路由信息变更传入Optus生产网"] B --> C["边缘路由器遭遇路由更新风暴"] C --> D["更新量超缺省保护阈值"] D --> E["约90台PE路由器自动脱网"] E --> F["移动宽带固话业务全面中断"] F --> G["DNS停摆 000呼叫与国际漫游受累"] ``` 这里面有三个值得嚼透的技术细节。 **第一，升级本身不是根因。** Singtel在参议院材料中强调，软件升级并非故障原因——路由数据从互联网络边界“裸奔”进生产网、进而触发风暴，问题出在边界防护的缺失。这个定性很重要，它把责任从“某次升级有bug”重新定义回“生产网边界没有过滤策略”。 **第二，保护机制的缺省阈值是把双刃剑。** 路由器的过载保护本意是防雪崩，但这次它恰恰制造了雪崩：约90台设备“为了自保”集体下线，把一次本可以局部消化的事件放大成了全国瘫。保护机制触发后的动作（脱网）比它要防的风险（过载）爆炸半径更大，这在工程上叫“保护比故障更具破坏性”。至于各厂家设备此类保护机制的具体行为与参数含义，标准允许多种实现，请以各厂家官方文档为准——但共性教训是通用的：**任何出厂缺省的保护阈值，都必须结合自己网络的规模和流量画像重新评估并留档**。 **第三，监管不信“缺省设置”这套说辞。** ACMA在调查报告（Investigation report - Optus outage，2024年发布）里写了一句非常值得每个运维管理者裱起来的话：“虽然路由器的缺省阈值由第三方设定，但Optus网络对STiX上游变更所引发路由流量激增的响应方式，属于Optus自身可控范围。”翻译成人话：**厂家给的缺省值不是免责金牌，网络是你的，责任就是你的**。 另外，DNS在这场事故里扮演了“放大器”：承载一瘫，DNS跟着停摆，导致国际漫游用户无法重选到其他网络、紧急呼叫改路由的备用手段也一并失灵。单一故障顺着依赖链层层放大，是这次事故最教科书式的部分。澳大利亚电信学术期刊JTDE（Journal of Telecommunications and the Digital Economy）后来发表的专题分析论文，也是沿着“IP核心网关停—依赖链断裂—恢复路径”这条线做的系统复盘。 ## 三、第二击：2025年9月18日，000打不通的13小时 如果說2023年的事故是“天灾级的技术连锁反应”，那2025年这一次，就只能用“不可原谅”来形容了。 2025年9月18日凌晨0点30分，Optus对网络进行了一次“例行”防火墙升级。CEO Stephen Rue事后公开承认，正是这次“常规”升级引入了缺陷，导致Optus网络上的000紧急呼叫持续失败长达13个小时，直到变更被回滚才恢复。受影响区域包括南澳大利亚州、西澳大利亚州、北领地和新南威尔士州远西部——注意，这些多是地广人稀、Optus往往是唯一或主要运营商的地区，用户想“换网打”都没得换。 后果是惨痛的：数百通000呼叫未能接通，多起死亡事件被媒体和官方审查关联到这次故障（各报道口径不一，关联死亡2至4人，最终以官方独立审查结论为准）。Optus在官网通报中承认“事件性质严重且令人悲痛”，政府随即启动独立审查，CEO position风雨飘摇，澳大利亚媒体开始用“wild west”（法外之地）来形容电信行业的运维文化。 把两起事故放在一起看，对比触目惊心： | 维度 | 2023年11月8日事故 | 2025年9月18日事故 | | --- | --- | --- | | 直接诱因 | 海外节点例行软件升级后路由信息变更传入生产网 | 凌晨0点30分的例行防火墙升级引入缺陷 | | 故障形态 | 约90台边缘路由器过载保护脱网，全网断连 | 000紧急呼叫路由失败，业务本身大部分正常 | | 持续时间 | 约14小时（间歇故障到次日） | 13小时 | | 影响范围 | 全国超1000万用户、40万企业 | 南澳、西澳、北领地、新州远西部的紧急呼叫 | | 最严重后果 | 墨尔本约500班次列车取消、支付与就医受阻 | 关联多起死亡事件（报道口径2至4人） | | 发现速度 | 凌晨4点即确认全网故障 | 数百通求救电话失败后影响面才被完整认知 | | 监管结局 | 罚款合计超1200万澳元 | 被ACMA告上联邦法院，指控1005项违规 | 两次事故，诱因不同、形态不同，但有一个共同的影子：**都发生在凌晨的“例行升级”窗口**。凌晨割接是行业惯例，理由是用户影响最小；但凌晨也是值守力量最薄弱、跨团队协调最慢、人对异常的判断力最差的时段。2023年那次，升级在海外节点、故障在澳洲生产网，中间隔着一个组织边界；2025年那次，防火墙变更后的验证显然没有把“打一通000试试”纳入必做清单——如果验证清单里有这一项，13小时根本不会发生。 ## 四、监管重锤：从1200万澳元到被告上联邦法院 Optus为这两起事故付出的代价，是一条不断加码的账单。 2023年事故之后，澳联邦政府立即委托基础设施与交通部开展官方审查（即《Review into the Optus outage of 8 November 2023》，业界俗称Bean Review），参议院环境和通信常务委员会同步启动公开调查，CEO Kelly Bayer Rosmarin在听证会上接受质询，并于2023年11月20日宣布辞职——距事故仅12天。官方审查的建议之一，是政府和ACMA对所有与三零紧急呼叫相关的法律法规做一次整体复核。 2024年11月8日，事故一周年当天，ACMA宣布：Optus旗下子公司因2023年11月8日全国断网期间违反紧急呼叫相关规则，已支付合计超过1200万澳元的罚金。这个数字在当时已经是澳电信监管史上级别很高的处罚，但和接下来发生的事情相比，只是开胃菜。 2026年7月30日，ACMA就2025年9月18日的000故障向联邦法院提起民事诉讼：指控Optus Mobile在故障期间违反两项法定义务合计1005次，按每项违规最高25万澳元计算，理论罚金上限超过2.5亿澳元；Australian Financial Review的测算标题甚至给出了最高约5亿澳元的量级。ACS（澳大利亚计算机协会）Information Age的评论标题一针见血——《Optus faces $250m Triple Zero lawsuit》。这个案子目前仍在审理中，无论最终罚金落在哪个数字，它都已经创下澳大利亚电信监管的处罚纪录。 还有一个背景必须交代：就在ACMA起诉Optus的三周前，2026年7月8日，澳大利亚最大的运营商Telstra也发生了一次全国性故障，影响超过600通000呼叫，数百万移动用户断网。一个国家、两大运营商、在一年内先后在000这条生命线上栽跟头，说明这不是某家公司的品控问题，而是整个行业在“网络复杂度逼近运维能力边界”这个问题上的系统性失守。这也是为什么澳政府在两起事故之间推进了三零呼叫法规的整体复核——监管的矛头，已经从“罚一家”转向“改规则”。 ## 五、写给运维人的六条硬教训 复盘不为吃瓜。以下六条，每一条都可以直接对照你自己的网络和流程做一次自检。 **第一，生产网的边界必须有“路由防泄露闸门”。** 2023年事故的本质是：一次来自互联对等网络的合法路由变更，未经过滤直达生产网核心。对你的网络，问一个问题：外部网络、测试环境、合作方节点注入的任何路由信息，是否存在逐条过滤与白名单策略？没有过滤的边界，别人家的“例行操作”就是你的“全国瘫”。变更窗口尤其如此——**变更影响评估必须覆盖“变更会向哪些协议域注入什么信息”，而不仅仅是“改了什么设备”**。 **第二，把所有出厂缺省的保护阈值当“待评审项”而不是“出厂设置”。** 过载保护、自动脱网、fail-safe，这些机制缺省行为的爆炸半径必须提前测算：它触发时是保护一个接口、一块板卡，还是放倒一层网？阈值是否匹配你网络的真实路由规模？这次Optus的教训是，90台设备各自“正确地”执行了保护逻辑，合起来就是全网消失。要给保护机制做“演习”：在可控环境里验证它何时触发、触发后如何恢复、恢复顺序是什么。 **第三，紧急呼叫是独立生命线，验证必须做到“打一通”。** 任何变更——尤其是涉及防火墙、NAT、路由策略、DNS的变更——完成后的验证清单里，必须有一条真实的端到端000/紧急呼叫拨测（通过合规的测试通道），而不是“看告警清零就收工”。2025年那13小时，本质上就是一次缺了验证环节的变更。同理，向他网紧急呼叫重选的逃生机制，要定期演练而不是停留在方案文档里。 **第四，凌晨升级不是免死金牌，反而是高危时段。** 两次事故都发生在凌晨。凌晨窗口的合理性要靠三样东西兜底：更小的变更粒度（一次只动一个域）、更强的验证自动化（人工反应慢，就让脚本把关键验证全跑一遍）、以及随时可执行的一键回滚。回滚要演练到“闭着眼能敲完命令”的程度——2025年那次最终靠回滚解决，但用了13个小时，说明回滚本身也不顺畅。 **第五，DNS和带外管理是“网中网”，要按最高等级独立保障。** 2023年事故里，DNS停摆放大了漫游和紧急呼叫的灾难；恢复阶段又暴露了远程管理通道随生产网一起瘫痪、只能人肉上站的窘境。DNS多平面部署、关键站点带外管理（OoB）通道、远程不可达时的现场应急路线图——这三样平时看不出价值，全网瘫的那天才值回所有投入。 **第六，账单远不止罚款：CEO问责已成监管新常态。** 2023年事故12天后CEO辞职；2025年事故后，继任CEO同样因一次防火墙变更被推上下课风口。事故的直接成本（1200万澳元罚金、20亿澳元市值蒸发）之外，真正的天价是信任流失和人事地震。给管理层看的汇报里，请把“紧急呼叫合规”列为和“收入指标”同级的红线项——监管已经这么看待它了。 ## 六、结语：故障会重演，但根因不该 Optus两年两瘫，表面上是两次不同的故障：一次是路由风暴叠加缺省保护阈值，一次是防火墙变更引入缺陷。但剥到底层，根因是同一个：**变更管理的颗粒度，没有跟上网络复杂度和网络社会价值的增长速度**。一张1000万人赖以就医、报警、坐地铁的网络，它的每一次“例行操作”，都必须以“这一步错了会死谁”来自审。 对中国同行来说，这个案例还有一层镜鉴价值：我们的网络承载的社会功能只多不少——从健康码时代的防控体系到各地的政务专线，运营商网络早就不是“打打电话断了再修”的业务。澳大利亚监管用1200万澳元教会行业“紧急呼叫规则不是摆设”，又准备用数亿澳元级别的罚单教会行业“缺省设置不免责”。这些学费，别人替我们交过了，抄作业不丢人。 故障复盘的最高境界，是让下一次故障发生在别人的网络上。共勉。 ## 参考来源 1. [Review into the Optus outage of 8 November 2023（澳大利亚政府官方审查报告）](https://www.infrastructure.gov.au/sites/default/files/documents/review_into_the_optus_outage_of_8_november.pdf) — 澳基础设施与交通部对2023年事故的官方审查，含三零呼叫法规复核建议 2. [Optus pays $12 million penalty for Triple Zero outage（ACMA官方公告，2024-11-08）](https://www.acma.gov.au/articles/2024-11/optus-pays-12-million-penalty-triple-zero-outage) — 监管确认Optus因2023年事故紧急呼叫违规支付超1200万澳元 3. [ACMA takes Optus Mobile to court over September 2025 Triple Zero outage（ACMA官方公告，2026-07-30）](https://www.acma.gov.au/articles/2026-07/acma-takes-optus-mobile-court-over-september-2025-triple-zero-outage) — 联邦法院诉讼、1005项违规指控的权威出处 4. [Optus outage blamed on edge router default settings（iTNews）](https://www.itnews.com.au/news/optus-outage-blamed-on-edge-router-default-settings-602442) — 约90台思科PE路由器因缺省设置脱网的详细报道 5. [Optus firewall upgrade behind 13-hour Triple Zero outage（iTNews，2025-09-20）](https://www.itnews.com.au/news/optus-firewall-upgrade-behind-13-hour-triple-zero-outage-620427) — 2025年防火墙升级事故的根因与CEO表态 6. [Optus reveals routine software upgrade the cause of 14-hour network outage（The Guardian）](https://www.theguardian.com/business/2023/nov/13/optus-network-outage-cause-routine-software-upgrade-how-did-it-happen) — Optus官方根因声明的首发报道之一 7. [Optus identifies cause of nationwide outage（ABC News）](https://www.abc.net.au/news/2023-11-13/optus-identifies-cause-of-nationwide-outage-software-upgrade/103099902) — 1020万用户、40万企业受影响的数据来源 8. [2023 Optus outage（Wikipedia）](https://en.wikipedia.org/wiki/2023_Optus_outage) — 事件全景与Cloudflare路由数据（AS4804小时通告量从不足3000条暴涨至94万条）的转引出处 9. [An Analysis of the Optus National Outage and Recommendations（JTDE电信学术期刊）](https://jtde.telsoc.org/index.php/jtde/article/view/898) — 学术视角的系统性复盘与改进建议 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。