2023年11月8日凌晨,澳大利亚第二大运营商Optus因一次例行软件升级引发BGP路由雪崩,全国移动、固话、宽带瘫痪约13个小时,超过1000万用户、40万家企业受影响,母公司新电信单日市值蒸发超20亿澳元,CEO因此辞职。将近两年后的2025年9月18日,又是凌晨,又是一次例行变更——这次倒下的是Triple Zero(000)应急呼叫专线,约600通报救电话失败,4人死亡。本文依据澳参议院调查材料、Optus官方声明与公开报道,复盘两次事故的时间线、根因与处置,回答一个运维人最该问的问题:为什么三年整改后,我们会在同一块石头上摔倒两次?
先把结论放在最前面,方便带着结论看细节:
2023年的全国断网,病根是“保护机制本身成了最大的单点”——边缘路由器为防止路由更新风暴设置了自动下线的保护阈值,而这个阈值低到一次正常的路由收敛就能触发,于是 designed to fail safe 的机制一次性放倒了约90台边缘路由器,全国瘫痪。
2025年的000呼救故障,病根是“监控与升级流程把最要命的路径排除在外”——防火墙升级后的测试只验证普通呼叫,话务量监控体系根本不统计000呼叫,于是“没有告警”被当成了“没有故障”,用户打不通报警电话长达13个小时,直到客户直接打电话来、南澳警方来质询,才有人动手回滚。
一次是网络层的雪崩,一次是流程层的失明。表面上是两个不同的技术故障,深挖下去是同一个组织病灶:变更管理和故障预案,都只在“正常世界”里演练过,从没在“最坏世界”里验证过。 这个结论怎么来的,往下看。
先看当天的时间线(时间为澳东夏令时AEDT):
| 时间(AEDT) | 事件 |
|---|---|
| 凌晨(升级窗口) | 新电信位于北美的汇接局执行例行软件升级,升级后一台路由器离线 |
| 04:05 | Optus全国用户侧网络开始批量断连,移动、固话、宽带同时受影响,部分DNS解析停止工作 |
| 05:00–06:00 | 墨尔本地铁司机无法与调度中心联系,市区线路全线停运,全天约500个班次取消 |
| 上午 | 银行、医院、大学、EFTPOS刷卡支付大面积瘫痪;虚拟运营商Dodo、Amaysim等租用Optus网络的品牌全部断网 |
| 11:30 | 仅恢复约11% |
| 13:00 | 恢复至约88% |
| 18:00 | 大部分业务恢复;间歇性异常持续到11月9日 |
几个量级数据,来自路透社、SMH、BBC等媒体的报道汇总:直接影响超过1000万人和40万家企业;Optus约占澳大利亚移动市场25%、固网宽带市场19%;母公司新电信(Singtel)在新加坡交易所股价单日下跌4.8%,市值蒸发超过20亿澳元。
Cloudflare的公开BGP观测数据(AS4804,Optus自治域)给出了最直观的技术证据:事发时段一小时内出现了超过94万条BGP路由公告,而该节点平时的正常水平是每小时不到3000条——放大300多倍的路由更新风暴,就是这场事故的地震波。
根据Optus提交澳参议院环境与通信常务委员会的调查材料,事故链条是这样的:
flowchart TD
A["新电信北美汇接局例行软件升级"] --> B["升级后一台路由器离线"]
B --> C["向全网下发海量路由更新"]
C --> D["Optus边缘路由器路由表剧烈刷新"]
D --> E["刷新速率超过设备预设保护阈值"]
E --> F["约90台边缘路由器触发保护性自动下线"]
F --> G["全国移动、固话与宽带同时中断"]
逐段拆解:
第一环,触发点。 凌晨的软件升级发生在新电信的北美汇接局,不在Optus自己网内。升级导致其中一台路由器离线,这是变更中并不罕见的场景。值得注意的是,参议院材料和Singtel都强调:软件升级本身不是故障原因——升级只是扣动了扳机。
第二环,放大器。 一台路由器离线后产生的路由信息更新,被Optus的IP承载网“误读”,引发全网路由表的剧烈刷新。对BGP稍有经验的读者都见过类似场景:一条路由撤销引发一批路由重新计算,重新计算又产生新的更新公告,在收敛完成前形成公告风暴。Cloudflare观测到的94万条/小时,就是这场风暴的波形记录。2021年Facebook全网下线事件(BGP撤销导致自身从互联网“消失”)与本次事故在机理上同源,当时《卫报》等媒体也第一时间做了类比。
第三环,致命一击。 真正把事故升级为全国灾难的,是路由器的保护性自动下线机制。当路由更新速率超过设备上预设的默认阈值时,边缘路由器不是丢包或限速,而是直接把自己从网络里摘除,以此自保。约90台边缘路由器先后这样“自杀”,全国性中断就此形成。提交给参议院的报告明确指出,触发下线的是设备上预先配置的默认阈值——也就是说,这套保护机制从上线那天起,就没有人按照Optus网络的现实话务模型去校准过它。
第四环,雪上加霜。 保护机制下线后不会自动回来。恢复过程需要在14个站点对100多台设备逐台操作,多数可远程执行,部分站点必须人员到场。这就是为什么恢复曲线如此平缓——11:30才恢复11%,13:00恢复88%。
给核心网和承载网运维同行划两个重点:
技术事故的账好算,社会影响的账更要算:
从运维视角复盘处置过程,有三个值得琢磨的点:
恢复慢,慢在“保护性下线”不可批量唤醒。 设备把自己摘除后,重连需要逐台确认状态、逐站点操作,14个站点100多台设备的恢复是纯人肉工程。自动化程度再高的网络,遇到这种“大面积自我隔离”的故障模式,恢复都退回到手工时代。
沟通慢,慢在“不知道该说什么”。 断网发生后数小时内,Optus没有向公众发送任何短信告警(讽刺的是,网络断了,短信通道其实也是自己家的)。Rogers 2022年断网、KDDI 2022年断网都暴露过同样的问题:运营商对外沟通的第一责任人不是公关部,而是事先定义好的应急指挥体系。没有体系,就只能等CEO出面,而CEO出面时舆情已经发酵了半天。
根因定位快,靠的是外部数据。 Cloudflare的路由观测数据在事发当天就锁定了BGP异常,这比运营商内部定位快得多。这提示我们:大型运营商的故障定位,不能只依赖自家监控系统,第三方观测点(公共路由采集平台、对等互联方的数据)是重要的外部校验源。
如果说2023年的事故还能归为“ unforeseeable 的技术雪崩”,那2025年9月18日的事故,就是把组织病灶拍在了桌面上。这一次,Optus的全国网络本身是通的——只有000应急呼叫打不通,而这恰恰是最不能断的一条线。
timeline
title 2025年9月18日 Optus 000呼救故障约13小时
0时30分 : 防火墙例行升级开始
清晨起 : 北领地、南澳、西澳000呼叫间歇性失败,普通通话正常
9时 : 首位客户来电报告000打不通,此后至少5通告警电话均未升级处理
13时30分 : 又一客户直接来电告警
13时50分 : 南澳警方主动质询
随后 : 停止升级并回滚防火墙变更
深夜 : Optus开始对呼救失败用户逐一做安全回访
9月19日 : 新闻发布会披露疑似关联死亡
9月20日 : 确认第4例关联死亡,CEO公开道歉
按Optus官方声明与参议院听证披露的信息,这13个小时里堆叠了四层失效:
第一层,变更设计失效。 凌晨0时30分开始的防火墙“例行升级”波及了000呼叫的处理路径。000呼叫在Optus网内走一套独立的应急呼叫系统,防火墙变更后,这套系统的呼叫被直接拦截。升级后的初始测试只验证了普通呼叫“按预期接通”,没有人打过一通000来验证应急路径。另外,新南威尔士州布罗肯希尔的两通失败呼叫,是因为当地用户经由南澳的基站接入——区域间的话务路由关系,同样不在变更影响评估的视野内。
第二层,监控盲区。 Optus在声明中承认:全国话务量监控“没有触发任何红灯”,因为监控体系根本不统计000呼叫。“没有告警”和“没有故障”是两回事,但当晚没有任何一个系统能区分这两者。这是全篇最值得每一位网优网管记住的一句话:监控只覆盖你以为重要的东西,而最重要的东西往往不在你以为的清单里。
第三层,告警升级流程失效。 从上午9点起,至少5位客户打进客服热线报告000打不通——包括一位家里有急救需求的南澳男士——客服没有一通报警被升级到网络团队。事后Optus复查发现还有至少3通类似来电同样未被处理。CEO Stephen Rue在参议院听证会上把这归咎于一线员工未执行升级流程,但11月3日的听证会披露了一个更扎心的数字:当天Optus董事会层面开了11次危机会议——公司高层激烈讨论了一整天,而用户报警电话在一线就被消化掉了。金字塔两端都很忙,中间的升级通道是断的。
第四层,对外通报失效。 Optus是在完成回滚之后才通知应急部门和监管机构发生了故障;西澳政府直到次日下午——事故发生超过24小时后——才被告知存在疑似关联死亡,且Optus最初只通报了西澳149通失败呼叫中的26通;南澳州长办公室获知消息的时间,与新闻发布会同步。西澳代理州长公开指责Optus违反了000故障的通报协议;南澳警察总监不得不亲自致电CEO索要受影响用户名单,因为Optus最初只肯给一份“哪些城区有失败呼叫”的清单。
代价是人命。 约600通000呼叫失败。Optus的安全回访和警方核查确认了4名死者:南澳一名8周大的男婴和一名68岁女性、西澳一名74岁男性和一名49岁男性——他们生前都曾尝试拨打000。南澳警方后续核查认为男婴的死亡“不太可能”因呼救延迟所致;其余案例仍在死因研讯程序中。作为复盘文章,我们不替法庭下结论,只陈述运维事实:在他们拨出求救电话的那一刻,这张网没有兑现电信运营商最底层的承诺。
把两次事故并排放,答案很难看:
| 维度 | 2023年11月8日全国断网 | 2025年9月18日000故障 |
|---|---|---|
| 触发事件 | 新电信北美汇接局例行软件升级 | 自家防火墙例行升级(凌晨0:30) |
| 故障范围 | 全国移动、固话、宽带全瘫 | 仅000应急呼叫(普通通话正常) |
| 持续时间 | 约12–14小时 | 约13小时(0:30–13:30) |
| 技术根因 | 路由更新风暴触发保护阈值,约90台边缘路由器自动下线 | 防火墙变更拦截000呼叫,且升级验证不含应急路径 |
| 监控盲区 | 值班体系对全国级故障无快速感知 | 话务监控不含000呼叫 |
| 告警来源 | Cloudflare等外部观测 | 客户来电5次以上+警方质询 |
| 对外沟通 | 数小时无短信公告 | 回滚后才通知监管,晚于发布会告知州政府 |
| 直接后果 | CEO辞职、参议院调查 | 4人死亡、ACMA联邦法院诉讼 |
三年时间,Optus换了CEO,经历了参议院调查,提交了整改承诺——然后一次同样发生在凌晨、同样源自例行变更、同样没有把“最坏路径”纳入验证的事故,落在了杀伤力最大的那条业务线上。2023年断的是“生活”,2025年断的是“性命”。
更值得行业警醒的是,这不是Optus一家的问题:2025年11月18日,TPG Telecom因老旧软件问题发生几乎同类的000呼叫故障,确认至少1人死亡,12月又通报第二例疑似关联死亡;11月26日Optus在墨尔本Frankston地区的光缆被人为破坏,再次导致含000在内的服务中断。澳大利亚电信业的应急呼叫保障,在2025年呈现出系统性脆弱。
两次复盘看完,提炼六条能直接带回自己网络里的教训:
2023年事故的直接监管后果是参议院公开调查与整改承诺;而2025年事故把追责推到了新高度。2026年7月底,澳大利亚通信与媒体管理局(ACMA)宣布就2025年9月的000故障向联邦法院对Optus提起诉讼,指控其违反两项法定义务超过1000次(此处以ABC报道标题披露的信息为准,具体指控条目以法院文件为准)。联邦通信部长Anika Wells在事发后即定性该故障“极其严重且完全不可接受”;反对党则点名质问澳洲000体系的camp-on机制——按设计,本运营商无法接通的应急呼叫应能驻留转接至其他运营商网络,为什么在Optus故障中未生效——这一质问把火从Optus烧向了整个000体系的架构设计。
可以预判的走向:澳洲将对应急呼叫保障施加更重的罚款上限、更强的强制通报时限,甚至重构多运营商间的000互备机制。对全球同行来说,这也是一个明确的监管信号——应急呼叫正在从“一张网的责任”变成“监管直接下场验收的国家级基础设施”,随之而来的合规成本(独立拨测、强制升级流程、监管直连告警)会逐步写进各国电信法规。
复盘Optus这两场事故,最让一线工程师后背发凉的不是技术多复杂——BGP雪崩和防火墙误拦截,都是教科书级的问题——而是两家公司的流程都“正常运转”了:变更按计划执行了,升级后测试通过了,监控系统没有任何告警,客服按话术记录了来电。每一个环节的当事人都可以说“我按流程做了”,然后千万人的网络瘫了,四条人命没了。
这就是大型网络运维最深的教训:流程防的是“有人犯错”,防不了“所有人都按一个有缺陷的流程犯错”。而发现流程缺陷的唯一方法,是定期让最坏的情况在你的预案里先死一次——拨测打一通000,拔一次主用,断一次监控,看看你的网络和你的组织,谁先瞎掉。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
