概述:2018年12月6日清晨,英国O2的2500万用户一夜醒来发现4G数据全断;同一时刻,日本软银逾3000万用户、澳大利亚Telstra部分用户遭遇同样命运。把三国网络同时撂倒的,不是黑客、不是光缆、也不是地震,而是爱立信移动分组核心网软件里一张过期了的数字证书。本文以爱立信官方声明与BBC、《卫报》当年的连续报道为主轴,复盘这场罕见的多国连锁断网:故障如何发生、为什么语音还能打、为什么恢复花了一天多、事后各方掏了什么代价,以及它给核心网运维留下了哪些至今适用的军规。
2018年12月6日,星期四,当地时间凌晨5点30分左右,英国第二大移动运营商O2的移动数据业务开始大面积中断。用手机刷不了网页、发不出WhatsApp、导航失灵、打车软件转圈——伦敦地铁里的通勤族很快发现,自己手里的智能手机退化成了“能打电话的诺基亚”。
据BBC和《卫报》当天的报道,O2全网约2500万用户中的绝大多数在早高峰前失去了3G/4G数据服务,物联网业务也遭殃——这一点常常被忽略:O2在英国承接了大量2G/3G物联网连接,包括公交站牌、读表、物流追踪设备。数据网一瘫,这些“看不见的用户”成片掉线,部分城市公交到站显示屏集体黑脸。
一个耐人寻味的细节是:电话基本还能打,短信基本还能发。这意味着网络并没有全死,死的只是“分组域”。对核心网工程师来说,这句话基本就把根因锁定在了SGSN/MME这一层的控制面,而不是无线、传输或号码分析。当天上午,O2确认问题出在第三方设备商爱立信的软件上,随后爱立信官方也发声明确认:其移动分组核心网(Mobile Packet Core)软件中的一个证书过期,导致全球部分运营商网元故障。
值得吐槽的是O2当天的危机沟通:大量用户在社交媒体上轰炸,而O2的官方网络状态页面相当长时间没有更新故障信息,被用户截图嘲讽“网络断了,连告诉你网络断了的服务也断了”。这个细节后来被英国监管机构盯上,成为复盘里沟通不畅的典型反例。
如果只有O2一家出事,这只是一个普通的单运营商故障。但接下来的几个小时里,事态明显升级为设备商级的全球性事件:
这个“跨国传染”的结构非常值得玩味。爱立信事后解释:只有特定软件版本、特定配置的网元会被过期的证书击中。换句话说,爱立信全球几十张网里,部署了同一批次软件且采用了那一种(事后被定义为非标准)配置的运营商,同时中招;其余网络安然无恙。
这就是核心网运维里最隐蔽的一类风险——软件批次风险。同一设备商的同一款产品,会因为版本、补丁、配置模板的差异,在全球分裂成若干“命运共同体”。你在年度体检时和友商比对KPI,觉得自己一切都好,却不知道自己和地球另一端的某张网用的是“同一批子弹”,引信在同一个时刻点燃。事故之前,O2和软银的网优团队大概互相都不知道对方的存在。
现代核心网设备软件里大量使用X.509数字证书:节点之间的IPsec隧道协商、软件许可(License)校验、与运营商PKI体系的互信、软件模块的完整性验证等等。证书都有有效期,到期必须续签。这套机制本来是安全设计——问题在于,安全机制本身成了单点故障源。
据爱立信官方声明,此次的过期证书是移动分组核心网软件中的一个EVI证书,由第三方颁发。证书过期后,网元软件在启动/运行校验环节判定证书无效,软件无法正常工作,SGSN/MME节点宕掉。爱立信后续进一步说明,问题涉及特定批次的软件配置,属于“一次性、非标准配置”引发的连锁反应。
用一张图说清楚这张证书是怎么把用户的4G“弄没”的:
flowchart TD
A["12月6日晨<br/>EVI证书到期"] --> B["网元软件校验失败"]
B --> C["SGSN与MME节点宕机"]
C --> D["4G与3G附着失败<br/>数据业务全断"]
C --> E["2G与3G电路域未受损<br/>语音短信可用"]
D --> F["信令与客服话务拥塞"]
F --> G["换证书升级软件<br/>分批重启网元"]
G --> H["次日上午逐步恢复"]
这里展开讲两个工程师最关心的点。
第一,为什么语音还活着? O2和软银当时都还保有2G/3G电路交换域,语音走CS域(MSC/CSFB回落),而CS域不依赖出事的分组核心网。所以手机仍能通过2G/3G完成主被叫。这个“旧架构”在2018年常被当作退网压力测试里的包袱,事故那天却成了保命的冗余。设想放到今天:如果2G/3G已退网、语音全面VoLTE化,同样一张过期证书瘫掉MME,用户将是数据和语音双双全断——包括紧急呼叫。这也是后来各国运营商在2G退网评估中,必须把“分组域灾难场景下的语音可达性”重新拉进评审清单的直接原因之一。
第二,为什么故障是“全有全无”式的? 证书校验失败不是性能劣化,而是软件逻辑上的硬失败:校验不过,进程不工作。所以用户看到的现象不是“网速变慢”“时通时断”,而是干脆的附着失败、无服务。这类“脆断”型故障有个运维特征:告警是突发的、成片的、同时刻的,KPI曲线上是一个矩形坑,而不是缓坡。当天见过现场的人,对那种告警刷屏的密度都会有印象。
事故的时间线,根据BBC、《卫报》及行业媒体的连续报道整理如下:
| 时间(当地) | 事件 |
|---|---|
| 12月6日 约05:30 | O2移动数据业务大面积中断,用户开始报告无服务 |
| 12月6日 上午 | O2确认系爱立信软件问题;爱立信发声明确认证书过期根因,多国故障进入公众视野 |
| 12月6日 下午至傍晚 | 软银日本数据业务大规模中断后逐步恢复;Telstra异常业务当日恢复 |
| 12月6日 夜间 | O2工程师与爱立信团队协同处置,分批更换证书/升级软件并重启网元 |
| 12月7日 上午至中午 | O2移动数据逐步恢复,当天大部分业务回归正常 |
| 2019年1月 | 爱立信发布进一步根因说明与整改措施,事件进入运营商补偿与监管评估阶段 |
很多人会问:不就换张证书吗,为什么拖了一天多?核心网老手都懂,这里有三个“慢”是必然的:
慢在定位。 故障初期,O2的故障现象在无线侧看起来像基站大面积退服,在核心网侧像信令风暴,客服侧像HLR/HSS问题。多国同时报障之后,“共同变量是爱立信软件”这一交叉线索才浮出水面。跨厂商、跨国界、跨时区的联合定位,光是拉起一个各方都认的会议桥就要几个小时。
慢在处置的不可回退性。 给全网几十对SGSN/MME换证书或打补丁,不可能一把梭。核心网重启是有业务代价的动作,必须分批次、按备份冗余关系滚动执行,每一批都要确认用户附着、寻呼、切换KPI正常再动下一批。这是纪律,不是低效。
慢在验证。 数据恢复不等于恢复完成。物联网卡成片重连会给网络带来二次冲击,重连风暴可能把刚爬起来的网再次压垮。所以恢复阶段必须限流、分批放行——这正是后来KDDI 2022年大断网里同样栽过跟头的环节。
设备商侧,爱立信CEO Börje Ekholm公开道歉,公司在2019年初发布了详细的根因说明与整改计划:全面清查在网软件的证书有效期、修订软件发布与配置管理流程、建立证书到期预警机制。除了直接的成本投入,这次事故对其企业客户的信任伤害难以用财务数字精确计量——彼时爱立信正处在核心网市场竞争最激烈的窗口期。
运营商侧,O2与软银随后均公布了面向用户的话费减免类补偿方案。对运营商来说,直接补偿是小事:O2作为以客户体验著称的品牌,一天的数据断网配合糟糕的状态页沟通,在媒体上被反复鞭挞;软银则要面对日本监管对通信稳定性日益收紧的审视——三年后KDDI的61小时断网,证明日本监管的耐心确实越用越少。
监管侧,英国OFCOM对故障处置与用户沟通展开评估;日本总务省要求软银说明并防止再发。这次事件还留下一个公共安全层面的拷问:断网期间紧急呼叫的可达性如何保障?好在2G电路域兜住了语音。但如前所述,这个保险随着网络演进正在消失,监管要求的“核心网级灾备”随之水涨船高。
复盘这场事故,我把它沉淀为五条可落地的军规,按优先级排序:
六年多过去,回头再看这场事故,它最大的价值不在于“证书要续期”这个浅显的教训,而在于它把三件事摆上了台面:安全机制本身可以成为故障源;设备商软件批次让不相干的运营商结成命运共同体;网络演进砍掉冗余的同时,也砍掉了灾难日的退路。2022年的KDDI、2024年的Optus,本质上都在用各自的代价重复验证这套逻辑。核心网运维这门手艺,说到底就是在“效率、成本、冗余”三角里替几千万用户守住底线——每一张过期的证书、每一个没演练过的预案,都是这条底线上的针眼。
注:文中受影响用户数、恢复时长等数字均转引自上述媒体当年的公开报道口径,个别细节以官方最终报告为准。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
