首页 › tech › Optus两次断网:同一块石头

Optus两次断网:同一块石头

概述

2023年11月8日凌晨,澳大利亚第二大运营商Optus因一次例行软件升级引发BGP路由雪崩,全国移动、固话、宽带瘫痪约13个小时,超过1000万用户、40万家企业受影响,母公司新电信单日市值蒸发超20亿澳元,CEO因此辞职。将近两年后的2025年9月18日,又是凌晨,又是一次例行变更——这次倒下的是Triple Zero(000)应急呼叫专线,约600通报救电话失败,4人死亡。本文依据澳参议院调查材料、Optus官方声明与公开报道,复盘两次事故的时间线、根因与处置,回答一个运维人最该问的问题:为什么三年整改后,我们会在同一块石头上摔倒两次?

目录

一、先说结论:两次事故,同一类病根

先把结论放在最前面,方便带着结论看细节:

2023年的全国断网,病根是“保护机制本身成了最大的单点”——边缘路由器为防止路由更新风暴设置了自动下线的保护阈值,而这个阈值低到一次正常的路由收敛就能触发,于是 designed to fail safe 的机制一次性放倒了约90台边缘路由器,全国瘫痪。

2025年的000呼救故障,病根是“监控与升级流程把最要命的路径排除在外”——防火墙升级后的测试只验证普通呼叫,话务量监控体系根本不统计000呼叫,于是“没有告警”被当成了“没有故障”,用户打不通报警电话长达13个小时,直到客户直接打电话来、南澳警方来质询,才有人动手回滚。

一次是网络层的雪崩,一次是流程层的失明。表面上是两个不同的技术故障,深挖下去是同一个组织病灶:变更管理和故障预案,都只在“正常世界”里演练过,从没在“最坏世界”里验证过。 这个结论怎么来的,往下看。

二、2023年11月8日:一次升级放倒全国网络

先看当天的时间线(时间为澳东夏令时AEDT):

时间(AEDT) 事件
凌晨(升级窗口) 新电信位于北美的汇接局执行例行软件升级,升级后一台路由器离线
04:05 Optus全国用户侧网络开始批量断连,移动、固话、宽带同时受影响,部分DNS解析停止工作
05:00–06:00 墨尔本地铁司机无法与调度中心联系,市区线路全线停运,全天约500个班次取消
上午 银行、医院、大学、EFTPOS刷卡支付大面积瘫痪;虚拟运营商Dodo、Amaysim等租用Optus网络的品牌全部断网
11:30 仅恢复约11%
13:00 恢复至约88%
18:00 大部分业务恢复;间歇性异常持续到11月9日

几个量级数据,来自路透社、SMH、BBC等媒体的报道汇总:直接影响超过1000万人和40万家企业;Optus约占澳大利亚移动市场25%、固网宽带市场19%;母公司新电信(Singtel)在新加坡交易所股价单日下跌4.8%,市值蒸发超过20亿澳元。

Cloudflare的公开BGP观测数据(AS4804,Optus自治域)给出了最直观的技术证据:事发时段一小时内出现了超过94万条BGP路由公告,而该节点平时的正常水平是每小时不到3000条——放大300多倍的路由更新风暴,就是这场事故的地震波。

三、根因深挖:BGP路由雪崩的完整链条

根据Optus提交澳参议院环境与通信常务委员会的调查材料,事故链条是这样的:

flowchart TD
    A["新电信北美汇接局例行软件升级"] --> B["升级后一台路由器离线"]
    B --> C["向全网下发海量路由更新"]
    C --> D["Optus边缘路由器路由表剧烈刷新"]
    D --> E["刷新速率超过设备预设保护阈值"]
    E --> F["约90台边缘路由器触发保护性自动下线"]
    F --> G["全国移动、固话与宽带同时中断"]

逐段拆解:

第一环,触发点。 凌晨的软件升级发生在新电信的北美汇接局,不在Optus自己网内。升级导致其中一台路由器离线,这是变更中并不罕见的场景。值得注意的是,参议院材料和Singtel都强调:软件升级本身不是故障原因——升级只是扣动了扳机。

第二环,放大器。 一台路由器离线后产生的路由信息更新,被Optus的IP承载网“误读”,引发全网路由表的剧烈刷新。对BGP稍有经验的读者都见过类似场景:一条路由撤销引发一批路由重新计算,重新计算又产生新的更新公告,在收敛完成前形成公告风暴。Cloudflare观测到的94万条/小时,就是这场风暴的波形记录。2021年Facebook全网下线事件(BGP撤销导致自身从互联网“消失”)与本次事故在机理上同源,当时《卫报》等媒体也第一时间做了类比。

第三环,致命一击。 真正把事故升级为全国灾难的,是路由器的保护性自动下线机制。当路由更新速率超过设备上预设的默认阈值时,边缘路由器不是丢包或限速,而是直接把自己从网络里摘除,以此自保。约90台边缘路由器先后这样“自杀”,全国性中断就此形成。提交给参议院的报告明确指出,触发下线的是设备上预先配置的默认阈值——也就是说,这套保护机制从上线那天起,就没有人按照Optus网络的现实话务模型去校准过它。

第四环,雪上加霜。 保护机制下线后不会自动回来。恢复过程需要在14个站点对100多台设备逐台操作,多数可远程执行,部分站点必须人员到场。这就是为什么恢复曲线如此平缓——11:30才恢复11%,13:00恢复88%。

给核心网和承载网运维同行划两个重点:

  1. “保护动作”必须是分级、可回退、可观测的。 阈值触发的自动下线是最后手段,如果它的触发条件比一次正常收敛还宽,它就不是保险丝,而是定时炸弹。
  2. 凌晨4点的变更窗口,本来就押注在“出事后有人清醒”上。 这次事故的故障信号出现在04:05,真正开始批量恢复是上午——值班体系对全网级故障的最初响应几乎是空白。

四、影响评估:20亿澳元市值蒸发与打不通的000

技术事故的账好算,社会影响的账更要算:

五、处置复盘:为什么恢复用了十几个小时

从运维视角复盘处置过程,有三个值得琢磨的点:

恢复慢,慢在“保护性下线”不可批量唤醒。 设备把自己摘除后,重连需要逐台确认状态、逐站点操作,14个站点100多台设备的恢复是纯人肉工程。自动化程度再高的网络,遇到这种“大面积自我隔离”的故障模式,恢复都退回到手工时代。

沟通慢,慢在“不知道该说什么”。 断网发生后数小时内,Optus没有向公众发送任何短信告警(讽刺的是,网络断了,短信通道其实也是自己家的)。Rogers 2022年断网、KDDI 2022年断网都暴露过同样的问题:运营商对外沟通的第一责任人不是公关部,而是事先定义好的应急指挥体系。没有体系,就只能等CEO出面,而CEO出面时舆情已经发酵了半天。

根因定位快,靠的是外部数据。 Cloudflare的路由观测数据在事发当天就锁定了BGP异常,这比运营商内部定位快得多。这提示我们:大型运营商的故障定位,不能只依赖自家监控系统,第三方观测点(公共路由采集平台、对等互联方的数据)是重要的外部校验源。

六、2025年9月18日:000专线失守13小时

如果说2023年的事故还能归为“ unforeseeable 的技术雪崩”,那2025年9月18日的事故,就是把组织病灶拍在了桌面上。这一次,Optus的全国网络本身是通的——只有000应急呼叫打不通,而这恰恰是最不能断的一条线。

timeline
    title 2025年9月18日 Optus 000呼救故障约13小时
    0时30分 : 防火墙例行升级开始
    清晨起 : 北领地、南澳、西澳000呼叫间歇性失败,普通通话正常
    9时 : 首位客户来电报告000打不通,此后至少5通告警电话均未升级处理
    13时30分 : 又一客户直接来电告警
    13时50分 : 南澳警方主动质询
    随后 : 停止升级并回滚防火墙变更
    深夜 : Optus开始对呼救失败用户逐一做安全回访
    9月19日 : 新闻发布会披露疑似关联死亡
    9月20日 : 确认第4例关联死亡,CEO公开道歉

按Optus官方声明与参议院听证披露的信息,这13个小时里堆叠了四层失效:

第一层,变更设计失效。 凌晨0时30分开始的防火墙“例行升级”波及了000呼叫的处理路径。000呼叫在Optus网内走一套独立的应急呼叫系统,防火墙变更后,这套系统的呼叫被直接拦截。升级后的初始测试只验证了普通呼叫“按预期接通”,没有人打过一通000来验证应急路径。另外,新南威尔士州布罗肯希尔的两通失败呼叫,是因为当地用户经由南澳的基站接入——区域间的话务路由关系,同样不在变更影响评估的视野内。

第二层,监控盲区。 Optus在声明中承认:全国话务量监控“没有触发任何红灯”,因为监控体系根本不统计000呼叫。“没有告警”和“没有故障”是两回事,但当晚没有任何一个系统能区分这两者。这是全篇最值得每一位网优网管记住的一句话:监控只覆盖你以为重要的东西,而最重要的东西往往不在你以为的清单里。

第三层,告警升级流程失效。 从上午9点起,至少5位客户打进客服热线报告000打不通——包括一位家里有急救需求的南澳男士——客服没有一通报警被升级到网络团队。事后Optus复查发现还有至少3通类似来电同样未被处理。CEO Stephen Rue在参议院听证会上把这归咎于一线员工未执行升级流程,但11月3日的听证会披露了一个更扎心的数字:当天Optus董事会层面开了11次危机会议——公司高层激烈讨论了一整天,而用户报警电话在一线就被消化掉了。金字塔两端都很忙,中间的升级通道是断的。

第四层,对外通报失效。 Optus是在完成回滚之后才通知应急部门和监管机构发生了故障;西澳政府直到次日下午——事故发生超过24小时后——才被告知存在疑似关联死亡,且Optus最初只通报了西澳149通失败呼叫中的26通;南澳州长办公室获知消息的时间,与新闻发布会同步。西澳代理州长公开指责Optus违反了000故障的通报协议;南澳警察总监不得不亲自致电CEO索要受影响用户名单,因为Optus最初只肯给一份“哪些城区有失败呼叫”的清单。

代价是人命。 约600通000呼叫失败。Optus的安全回访和警方核查确认了4名死者:南澳一名8周大的男婴和一名68岁女性、西澳一名74岁男性和一名49岁男性——他们生前都曾尝试拨打000。南澳警方后续核查认为男婴的死亡“不太可能”因呼救延迟所致;其余案例仍在死因研讯程序中。作为复盘文章,我们不替法庭下结论,只陈述运维事实:在他们拨出求救电话的那一刻,这张网没有兑现电信运营商最底层的承诺。

七、两次事故对照:三年整改改了什么

把两次事故并排放,答案很难看:

维度 2023年11月8日全国断网 2025年9月18日000故障
触发事件 新电信北美汇接局例行软件升级 自家防火墙例行升级(凌晨0:30)
故障范围 全国移动、固话、宽带全瘫 仅000应急呼叫(普通通话正常)
持续时间 约12–14小时 约13小时(0:30–13:30)
技术根因 路由更新风暴触发保护阈值,约90台边缘路由器自动下线 防火墙变更拦截000呼叫,且升级验证不含应急路径
监控盲区 值班体系对全国级故障无快速感知 话务监控不含000呼叫
告警来源 Cloudflare等外部观测 客户来电5次以上+警方质询
对外沟通 数小时无短信公告 回滚后才通知监管,晚于发布会告知州政府
直接后果 CEO辞职、参议院调查 4人死亡、ACMA联邦法院诉讼

三年时间,Optus换了CEO,经历了参议院调查,提交了整改承诺——然后一次同样发生在凌晨、同样源自例行变更、同样没有把“最坏路径”纳入验证的事故,落在了杀伤力最大的那条业务线上。2023年断的是“生活”,2025年断的是“性命”。

更值得行业警醒的是,这不是Optus一家的问题:2025年11月18日,TPG Telecom因老旧软件问题发生几乎同类的000呼叫故障,确认至少1人死亡,12月又通报第二例疑似关联死亡;11月26日Optus在墨尔本Frankston地区的光缆被人为破坏,再次导致含000在内的服务中断。澳大利亚电信业的应急呼叫保障,在2025年呈现出系统性脆弱。

八、给运维人的六条硬教训

两次复盘看完,提炼六条能直接带回自己网络里的教训:

  1. 变更影响评估必须覆盖应急路径,并且用真实拨测验证。 “普通呼叫通了”不等于“000能通”。关键业务(应急呼叫、网管通道、带外管理、计费伴生系统)必须有自己的变更后验收用例,一票否决制。
  2. 监控清单要“从后果倒推”,而不是“从指标堆砌”。 问自己一个问题:如果我网内最重要的那条业务线全断了,哪一条KPI曲线会动?如果答案是“没有”,监控体系就有盲区。000类业务需要独立的端到端拨测和话务基线告警,而不是混在大盘话务量里。
  3. 保护机制要按现实话务建模校准,并做失效模式分析。 阈值类保护(路由更新速率、信令负荷、CPU门限)上线前要回答:全网正常收敛时会不会误触发?误触发的爆炸半径是多大?有没有分级降级方案而不是一刀切下线?
  4. 客户投诉是最便宜的告警源,给它修一条直达通道。 5通报警电话没有一通到达网络团队,说明客服到网管的升级流程是纸面上的。对“呼救打不通”这类高等级关键词,应当触发强制升级(Optus事后也承诺建立compulsory escalation process),并且由系统而不是人的判断来执行。
  5. 故障对外通报预案要“先于恢复”启动,监管与政府通报有时限红线。 两次事故里Optus都把通报放在了恢复之后,两次都被打得很惨。先通报“我们正在处理什么”永远好过事后解释“我们为什么瞒了13个小时”。
  6. 凌晨变更要配“最坏世界”预案。 凌晨窗口的假设是“出事有人处理”,要验证的是:告警能不能叫醒该叫醒的人?回滚方案有没有在低话务时段演练过?二次回滚(回滚也失败)的预案在哪?没有这三问,凌晨窗口省下的不是时间,是运气。

九、监管落锤:从国会听证到联邦法院

2023年事故的直接监管后果是参议院公开调查与整改承诺;而2025年事故把追责推到了新高度。2026年7月底,澳大利亚通信与媒体管理局(ACMA)宣布就2025年9月的000故障向联邦法院对Optus提起诉讼,指控其违反两项法定义务超过1000次(此处以ABC报道标题披露的信息为准,具体指控条目以法院文件为准)。联邦通信部长Anika Wells在事发后即定性该故障“极其严重且完全不可接受”;反对党则点名质问澳洲000体系的camp-on机制——按设计,本运营商无法接通的应急呼叫应能驻留转接至其他运营商网络,为什么在Optus故障中未生效——这一质问把火从Optus烧向了整个000体系的架构设计。

可以预判的走向:澳洲将对应急呼叫保障施加更重的罚款上限、更强的强制通报时限,甚至重构多运营商间的000互备机制。对全球同行来说,这也是一个明确的监管信号——应急呼叫正在从“一张网的责任”变成“监管直接下场验收的国家级基础设施”,随之而来的合规成本(独立拨测、强制升级流程、监管直连告警)会逐步写进各国电信法规。

结语

复盘Optus这两场事故,最让一线工程师后背发凉的不是技术多复杂——BGP雪崩和防火墙误拦截,都是教科书级的问题——而是两家公司的流程都“正常运转”了:变更按计划执行了,升级后测试通过了,监控系统没有任何告警,客服按话术记录了来电。每一个环节的当事人都可以说“我按流程做了”,然后千万人的网络瘫了,四条人命没了。

这就是大型网络运维最深的教训:流程防的是“有人犯错”,防不了“所有人都按一个有缺陷的流程犯错”。而发现流程缺陷的唯一方法,是定期让最坏的情况在你的预案里先死一次——拨测打一通000,拔一次主用,断一次监控,看看你的网络和你的组织,谁先瞎掉。

参考来源

  1. 2023 Optus outage - Wikipedia — 本文2023年事故时间线、规模数据与根因描述的综合来源,其引用链覆盖路透社、SMH、BBC、9News及参议院调查材料
  2. 2025 Optus emergency calling outage - Wikipedia — 本文2025年事故时间线、监控盲区、通报失败与死亡案例的核心来源,引用Optus CEO官方声明(2025-09-19/20/21)及ABC、卫报澳大利亚版报道
  3. 澳大利亚参议院环境与通信常务委员会《Optus Network Outage》调查材料(2023-11-17) — “约90台边缘路由器保护性下线”“Cisco预设默认阈值被超过”等根因细节的原始出处(转引自来源1参考文献)
  4. Cloudflare Radar 公开BGP观测数据(AS4804,Optus自治域) — “每小时94万条路由公告对比日常不足3000条”的观测来源(转引自来源1参考文献)
  5. Mark Gregory《Optus Triple Zero outage has left 4 people dead. A telecommunications expert explains what went wrong – and how to fix it》,The Conversation(2025-09-21) — 学术视角的000体系缺陷分析(转引自来源2参考文献)
  6. ABC News《ACMA to sue Optus in Federal Court over 2025 network outage》(2026-07-30) — ACMA联邦法院诉讼及“违反两项法定义务超过1000次”指控的报道(转引自来源2参考文献)

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入