首页 › tech › 例行升级,掐断全国救命电话

概述:2025年9月18日深夜,澳大利亚第二大运营商Optus在例行维护窗口对IP核心网做了一次“再普通不过”的软件升级。升级完成后,防火墙开始丢弃语音流量——移动语音全阻,包括000紧急呼叫。约13小时后才恢复,约60万通呼叫未接通,其中423通是求救电话,澳媒与警方披露至少3起死亡事件与之相关。本文按时间线复盘这起事故:根因链条、四道防线为何一夜全失、追责与整改进展,以及它给一线运维人留下的教训。信息主轴锚定监管机构ACMA通报、Optus官方声明与独立审查报告,未经证实处均已标注。

目录

一、事故概况:一场13小时的“语音全阻”

这起事故最让人后背发凉的地方在于:它没有爆炸、没有光缆被挖断、没有台风,甚至没有“故障”——按照Optus自己的说法,当晚只是按计划执行了一次例行软件升级。

据Optus事后通报与多家澳媒(ABC、Reuters、Guardian澳洲版等)报道,事件大致经过如下:9月18日深夜维护窗口,Optus对IP核心网执行软件升级,升级由第三方人员操刀(这一点后来在参议院听证上成为巨大争议——出了事说“第三方干的”,公众完全不买账)。升级完成后,网络中的防火墙设备行为异常,开始丢弃语音会话流量。用户侧的表现是:电话打不出去也打不进来,而据用户反馈与媒体报道,移动数据大体可用——大量用户能在社交媒体上发帖问“是不是只有我打不了电话”,却恰恰打不出一通求救电话。

对公众来说,真正致命的是:000(澳大利亚的紧急呼叫号码)也打不通。澳大利亚的000体系由Telstra承担“紧急呼叫人”(Emergency Call Person)角色运营全国接警中心,任何运营商的用户拨打000后先进全国接警中心,再分流到各州的警察、消防、急救。运营商网络瘫痪意味着这条生命线在最上游就被掐断。

故障从18日深夜持续到19日午后,累计约13个小时——这个口径来自Optus通报与澳媒一致报道。

timeline
    title 2025年9月18日至19日 Optus断网夜(时点据公开报道还原)
    section 18日深夜
        维护窗口开启 : 执行IP核心网例行软件升级
        升级完成 : 防火墙开始丢弃语音流量
    section 19日凌晨
        故障显现 : 通话失败投诉涌入
        持续恶化 : 000紧急呼叫开始失败
    section 19日白天
        舆情爆发 : 政府发声 警方介入逐户回访
        午后恢复 : 语音业务恢复 累计约13小时
        事后披露 : 约60万通呼叫受影响 423通000未接通

时间线还原(时点为据公开报道整理的约数):

时点(澳东时间,约数) 事件 依据
18日深夜 维护窗口开始,对IP核心网执行例行软件升级 Optus事后说明
升级完成后不久 防火墙行为异常,开始丢弃语音呼叫 Optus通报
19日凌晨 通话失败投诉集中出现,000呼叫开始失败 澳媒报道、社交平台时间戳
19日上午 舆情全面爆发,联邦政治层面发声;警方对呼救未果者逐一上门核查 澳媒报道
19日午后 语音业务逐步恢复,断网约13小时 Optus通报口径
之后数周 披露影响规模、CEO辞职、参议院听证与监管立案启动 多方报道

二、根因拆解:四道防线为何一夜全失

从公开披露的信息看,这起事故不是一个“点”坏了,而是纵深防御体系里的每一道防线,在同一个晚上依次失守。这才是值得每个运维团队反复咀嚼的部分。

flowchart TD
    A[维护窗口内例行软件升级] --> B[升级触发防火墙异常]
    B --> C[防火墙丢弃语音信令与会话]
    C --> D[移动语音全阻 含000紧急呼叫]
    B --> E[主备同源 共模失效]
    E --> D
    D --> F[紧急呼叫兜底路由未生效]
    D --> G[告警未及时暴露000失败]
    F --> H[约13小时后才定位恢复]
    G --> H

第一道防线:冗余与倒换。 运营商网络的标准设计是主备冗余、故障自动倒换。但从Optus的公开表态看,升级触发的是防火墙的异常行为——同一类设备、同一套配置基线,主备两侧高度“同源”。这种情况下,备份侧往往带着同样的缺陷,倒换过去问题依旧,这就是可靠性工程里最经典的共模失效(common-mode failure):你以为买了两份保险,其实是一份保单复印了两张。挑战者号航天飞机的O型环、很多数据中心的“双活变双死”,本质都是它。

第二道防线:紧急呼叫兜底路由。 按行业通行机制,运营商网络故障时,紧急呼叫应能通过多种兜底路径送出,例如改路由到其他运营商网络、或由终端重选可用网络。据澳媒报道,事后披露显示这套机制当晚未如期工作,这成了监管调查的焦点之一——2023年那次断网后Optus宣称已强化该机制,两年后在真实故障面前再次失灵,公众的愤怒主要来源于此。

第三道防线:告警与监控。 这是我在NOC一线最想敲黑板的一点:“业务全阻”如果靠用户投诉才知道,说明监控体系看的是设备,不是业务。 防火墙丢包,端口可能还是绿的、进程可能还是活的、板卡可能一个重要告警都没有——但呼叫接通率已经是零。13个小时才定位恢复,说明当晚值班面上缺少一个“000呼叫成功率”“语音接通率”这样一眼见底的KPI大盘,或者有大盘但没人盯、没联动值班升级机制。

第四道防线:变更后验证。 例行升级之所以“例行”,是因为大家默认流程成熟。但变更后验证如果只验证“设备起来没有”“进程正常没有”,而不在真实话务模型下拨测关键业务——尤其是紧急呼叫路径——就等于验证了发动机能点火、却没验证刹车能不能踩。Optus CEO事后公开承认这次事故“本可避免”,从公开信息看,变更验证环节的粗糙正是“本可避免”四个字的落点。

把四道防线放在一起看:

防线 设计意图 当晚表现
主备冗余与自动倒换 单点故障秒级切换 备份侧同源异常,未完成有效倒换
紧急呼叫兜底路由 网络故障时000经其他路径送出 未如期生效,成为调查焦点
告警与业务监控 第一时间暴露呼叫失败 000失败未及时上浮,靠投诉发现
变更后验证 先验证再放大变更范围 未在真实话务下充分验证语音与000路径

四次救火机会,全部错过。

三、影响评估:60万通电话与423次呼救

事故的量化影响,据Optus事后披露:约60万通用户呼叫未能接通;其中423通000紧急呼叫未能接通。随后澳媒与警方披露,至少3起死亡事件与断网期间呼救未果相关。这三条生命的具体情形,澳媒有详细报道,本文不复述细节——但每一个做网络的人都该记住:你守护的那张网,背面写着的不是KPI,是人命。

Optus是澳洲第二大运营商,母公司为新加坡电信(Singtel),移动用户千万级。这意味着当晚数百万家庭处于“打得开App、打不出急救电话”的状态。影响面还有几个容易被忽视的维度:

四、追责与整改:CEO辞职、听证会与监管立案

事故后的追责链条在澳洲以罕见的速度推进:

  1. 监管立案:ACMA(澳大利亚通信与媒体管理局,acma.gov.au)随即对事件展开调查。值得注意的背景是:2023年断网事故后,澳洲已就紧急呼叫违规讨论并推动处罚上限的大幅上调(据公开报道),此次调查的潜在罚金量级被澳媒测算为数亿澳元级——截至本文成稿,最终处罚结论未见官方公布,读者应以ACMA官网通报为准。
  2. 国会听证:Optus高管在参议院接受质询,“升级由第三方执行”的说法在听证会上遭遇激烈追问:哪些第三方、承担什么责任、为何不公布。监管机构与国会最不满的不是故障本身,而是故障后信息披露的迟缓与含糊。
  3. CEO辞职:2025年11月,据路透社等媒体报道,执掌Optus多年的CEO Stephen Rue宣布辞职。一个“例行升级”最终掀翻了一把手——这是近年全球电信业因运维事故导致最高级别人事震荡的案例之一。
  4. 企业侧整改:Optus随后推出面向用户的补偿方案(据媒体报道含费用减免),并承诺配合监管完成整改。真实效力如何,要看后续ACMA合规审计的结论。

五、前车之鉴:2023年那次断网,教训为什么没被吸收

如果只看这次事故,很容易以为这是一次“运气不好”。把时间拨回2023年11月8日,你会发现故事几乎是同一个剧本的上一集。

据Optus于2024年初发布的独立审查报告(由Kerry Schott博士主持)与ACMA调查通报还原:2023年11月8日凌晨,同样是例行软件升级,在IP核心网引入了路由变更,对端设备(防火墙)收到异常信息后丢弃数据包;同样,本该兜底的双重冗余没有起作用,倒换过程超过30分钟,网络大面积瘫痪约12小时,影响超千万用户、约40万企业客户(Optus口径)。ACMA随后认定,事故期间共有4239通000紧急呼叫未能接通(据ACMA通报口径)。2025年,澳联邦法院批准Optus就2023年事故中的紧急呼叫违规支付1200万澳元罚款(据ACMA及澳媒报道)。

两次事故摆在一起,相似度高到令人不适:

维度 2023年11月8日 2025年9月18-19日
影响面 超千万用户、约40万企业 语音全阻,约60万通呼叫未接通
时长 约12小时 约13小时
直接诱因 例行软件升级引入路由变更,防火墙丢包 例行软件升级后防火墙异常丢包
冗余表现 双重冗余未兜底 主备同源异常,倒换失效
000呼叫 ACMA认定4239通未接通 423通未接通,澳媒披露3起关联死亡
追责结果 独立审查+1200万澳元罚款 CEO辞职、参议院听证、监管立案

Schott报告当年就点破了系统性问题:Optus长期缺乏对紧急呼叫链路的监控能力、变更管理存在缺陷、网络与IT边界职责模糊。2023年之后的两年里,Optus对外宣称完成了大量整改。但从2025年9月的结果看——告警没有让000失败及时上浮、兜底路由没有兜住、变更验证没有拦住。教训被写进了报告、写进了PPT、写进了新闻稿,唯独没有写进网络。

这是所有运维组织都该自问的问题:你上一次事故报告里的整改项,两年后被真实故障检验过吗?整改闭环的“验收”,是“文档关闭”,还是“故障演练验证通过”?

六、写给运维人的启示:把“小概率”当“必答题”

作为一个在核心网和NOC泡了十八年的老兵,我想把这次事故翻译成六条可以直接落地的动作:

  1. 给紧急呼叫装“心跳拨测”。 每个维护窗口结束后,语音网络的关键验证项必须包含紧急呼叫路径的自动拨测——不是拨测试号码,而是打到紧急呼叫中心测试专用号段或模拟接警台。三大运营商与虚拟运营商体系下,各地紧急呼叫路由不完全相同,拨测要覆盖属地路由。这一条在历次重大事故复盘里反复出现,但真正做到自动化的网络仍然不多。
  2. 监控要看业务KPI,不要只看设备健康。 防火墙丢包、“板卡全绿但业务全阻”是经典盲区。值班大屏第一屏应该是呼叫接通率、注册成功率、掉线率这类业务级指标,并设置“越级告警”:业务指标劣化直接触发值班升级(escalation),不依赖人从上万条设备告警里刨出真相。
  3. 把共模失效写进冗余设计评审。 主备不等于安全,评审时要问三个问题:主备是否共享同一版本、同一配置生成机制、同一升级路径?倒换演练最近一次是什么时候、结果如何?倒换时间目标是多少、实测是多少?
  4. 变更的爆炸半径先算后做。 例行不等于低风险——两次Optus事故都是“例行升级”。升级前要明确:影响哪些业务面?语音和紧急呼叫是否在路径上?灰度范围多大?回滚预案几分钟内可执行?变更窗口内谁守场、升级后多久完成拨测?
  5. 供应商与第三方随工要留痕、要验收。 “第三方执行的升级”在追责时救不了Optus,因为责任主体永远是网络运营者。第三方随工必须纳入己方变更管理:方案评审、钥匙与权限管控、随工记录、升级后由己方人员验收。
  6. 把“人命面”写进应急预案的第一页。 网络大面积故障时,应急指挥的第一优先级不是恢复时长,而是紧急呼叫保障:能否改路由、能否短信报警(澳洲000体系的SMS通道、国内12110体系同理)、能否与警方建立通报与回访联动。这套联动平时不演练,战时就是空白。

还有一个更冷峻的观察:这两次Optus事故里,移动数据都大体可用。恰恰是这种“半瘫”状态最危险——用户能刷手机,就默认“网络没问题”,等发现电话打不通时,往往已经是真的需要求助的时刻。全阻会引发重视,半瘫只会制造错觉。 对监控体系而言,“部分业务劣化”的识别难度远高于“整体宕机”,而这正是值班体系真正的考题。

标准允许多种实现,各家网络的冗余结构、紧急呼叫绕行机制和监控布点各有不同,具体能力边界应以本网架构和官方文档为准——但上面六条,哪张网都绕不过去。

结语

Optus断网夜没有天灾、没有攻击、没有神秘故障,只有一次按流程执行的例行升级,和一个当晚没能拦住它的防御体系。423通未接通的呼救,把“变更管理”“冗余设计”“告警治理”这些运维文档里的抽象词汇,变成了三条无法挽回的生命和一位CEO的离职。

对工程师而言,这起事故的全部价值浓缩成一句话:你网络的真实可靠性,不在SLA承诺里,而在某个凌晨三点、无人监督的例行变更里。 那个晚上你的防火墙、你的拨测脚本、你的值班大屏会替你回答一切。

参考来源

注:本次成稿环境的联网检索通道受限,以下链接指向机构官方站点入口而非具体文章页;按标题在对应站点检索,可获取原始通报与报告全文。

  1. ACMA 澳大利亚通信与媒体管理局 — Optus 2023年断网调查通报、000呼叫违规认定与处罚通告的官方发布渠道
  2. Optus 官方新闻中心 — 2025年9月断网事件的官方声明、影响规模披露与补偿公告
  3. Optus:2023年断网独立审查报告(Schott报告) — 2024年初发布,系统还原2023年事故根因链与整改建议
  4. 澳大利亚国会 — 参议院环境与通信委员会针对Optus事故的听证记录与调查资料
  5. Reuters / ABC News — 断网事件进程、死亡事件披露与CEO辞职的连续报道

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入