首页 › tech › 一张过期证书:多国断网复盘

一张过期证书:多国断网复盘

概述:2018年12月6日清晨,英国O2的2500万用户一夜醒来发现4G数据全断;同一时刻,日本软银逾3000万用户、澳大利亚Telstra部分用户遭遇同样命运。把三国网络同时撂倒的,不是黑客、不是光缆、也不是地震,而是爱立信移动分组核心网软件里一张过期了的数字证书。本文以爱立信官方声明与BBC、《卫报》当年的连续报道为主轴,复盘这场罕见的多国连锁断网:故障如何发生、为什么语音还能打、为什么恢复花了一天多、事后各方掏了什么代价,以及它给核心网运维留下了哪些至今适用的军规。

目录

一、清晨五点半:半个英国的4G没了

2018年12月6日,星期四,当地时间凌晨5点30分左右,英国第二大移动运营商O2的移动数据业务开始大面积中断。用手机刷不了网页、发不出WhatsApp、导航失灵、打车软件转圈——伦敦地铁里的通勤族很快发现,自己手里的智能手机退化成了“能打电话的诺基亚”。

据BBC和《卫报》当天的报道,O2全网约2500万用户中的绝大多数在早高峰前失去了3G/4G数据服务,物联网业务也遭殃——这一点常常被忽略:O2在英国承接了大量2G/3G物联网连接,包括公交站牌、读表、物流追踪设备。数据网一瘫,这些“看不见的用户”成片掉线,部分城市公交到站显示屏集体黑脸。

一个耐人寻味的细节是:电话基本还能打,短信基本还能发。这意味着网络并没有全死,死的只是“分组域”。对核心网工程师来说,这句话基本就把根因锁定在了SGSN/MME这一层的控制面,而不是无线、传输或号码分析。当天上午,O2确认问题出在第三方设备商爱立信的软件上,随后爱立信官方也发声明确认:其移动分组核心网(Mobile Packet Core)软件中的一个证书过期,导致全球部分运营商网元故障。

值得吐槽的是O2当天的危机沟通:大量用户在社交媒体上轰炸,而O2的官方网络状态页面相当长时间没有更新故障信息,被用户截图嘲讽“网络断了,连告诉你网络断了的服务也断了”。这个细节后来被英国监管机构盯上,成为复盘里沟通不畅的典型反例。

二、这不是英国一家的事:跨国传染链

如果只有O2一家出事,这只是一个普通的单运营商故障。但接下来的几个小时里,事态明显升级为设备商级的全球性事件:

这个“跨国传染”的结构非常值得玩味。爱立信事后解释:只有特定软件版本、特定配置的网元会被过期的证书击中。换句话说,爱立信全球几十张网里,部署了同一批次软件且采用了那一种(事后被定义为非标准)配置的运营商,同时中招;其余网络安然无恙。

这就是核心网运维里最隐蔽的一类风险——软件批次风险。同一设备商的同一款产品,会因为版本、补丁、配置模板的差异,在全球分裂成若干“命运共同体”。你在年度体检时和友商比对KPI,觉得自己一切都好,却不知道自己和地球另一端的某张网用的是“同一批子弹”,引信在同一个时刻点燃。事故之前,O2和软银的网优团队大概互相都不知道对方的存在。

三、根因解剖:一张证书怎么撂倒整个分组域

证书在核心网里是干什么的

现代核心网设备软件里大量使用X.509数字证书:节点之间的IPsec隧道协商、软件许可(License)校验、与运营商PKI体系的互信、软件模块的完整性验证等等。证书都有有效期,到期必须续签。这套机制本来是安全设计——问题在于,安全机制本身成了单点故障源。

据爱立信官方声明,此次的过期证书是移动分组核心网软件中的一个EVI证书,由第三方颁发。证书过期后,网元软件在启动/运行校验环节判定证书无效,软件无法正常工作,SGSN/MME节点宕掉。爱立信后续进一步说明,问题涉及特定批次的软件配置,属于“一次性、非标准配置”引发的连锁反应。

故障传导链

用一张图说清楚这张证书是怎么把用户的4G“弄没”的:

flowchart TD
    A["12月6日晨<br/>EVI证书到期"] --> B["网元软件校验失败"]
    B --> C["SGSN与MME节点宕机"]
    C --> D["4G与3G附着失败<br/>数据业务全断"]
    C --> E["2G与3G电路域未受损<br/>语音短信可用"]
    D --> F["信令与客服话务拥塞"]
    F --> G["换证书升级软件<br/>分批重启网元"]
    G --> H["次日上午逐步恢复"]

这里展开讲两个工程师最关心的点。

第一,为什么语音还活着? O2和软银当时都还保有2G/3G电路交换域,语音走CS域(MSC/CSFB回落),而CS域不依赖出事的分组核心网。所以手机仍能通过2G/3G完成主被叫。这个“旧架构”在2018年常被当作退网压力测试里的包袱,事故那天却成了保命的冗余。设想放到今天:如果2G/3G已退网、语音全面VoLTE化,同样一张过期证书瘫掉MME,用户将是数据和语音双双全断——包括紧急呼叫。这也是后来各国运营商在2G退网评估中,必须把“分组域灾难场景下的语音可达性”重新拉进评审清单的直接原因之一。

第二,为什么故障是“全有全无”式的? 证书校验失败不是性能劣化,而是软件逻辑上的硬失败:校验不过,进程不工作。所以用户看到的现象不是“网速变慢”“时通时断”,而是干脆的附着失败、无服务。这类“脆断”型故障有个运维特征:告警是突发的、成片的、同时刻的,KPI曲线上是一个矩形坑,而不是缓坡。当天见过现场的人,对那种告警刷屏的密度都会有印象。

四、处置复盘:为什么恢复花了一天多

事故的时间线,根据BBC、《卫报》及行业媒体的连续报道整理如下:

时间(当地) 事件
12月6日 约05:30 O2移动数据业务大面积中断,用户开始报告无服务
12月6日 上午 O2确认系爱立信软件问题;爱立信发声明确认证书过期根因,多国故障进入公众视野
12月6日 下午至傍晚 软银日本数据业务大规模中断后逐步恢复;Telstra异常业务当日恢复
12月6日 夜间 O2工程师与爱立信团队协同处置,分批更换证书/升级软件并重启网元
12月7日 上午至中午 O2移动数据逐步恢复,当天大部分业务回归正常
2019年1月 爱立信发布进一步根因说明与整改措施,事件进入运营商补偿与监管评估阶段

很多人会问:不就换张证书吗,为什么拖了一天多?核心网老手都懂,这里有三个“慢”是必然的:

慢在定位。 故障初期,O2的故障现象在无线侧看起来像基站大面积退服,在核心网侧像信令风暴,客服侧像HLR/HSS问题。多国同时报障之后,“共同变量是爱立信软件”这一交叉线索才浮出水面。跨厂商、跨国界、跨时区的联合定位,光是拉起一个各方都认的会议桥就要几个小时。

慢在处置的不可回退性。 给全网几十对SGSN/MME换证书或打补丁,不可能一把梭。核心网重启是有业务代价的动作,必须分批次、按备份冗余关系滚动执行,每一批都要确认用户附着、寻呼、切换KPI正常再动下一批。这是纪律,不是低效。

慢在验证。 数据恢复不等于恢复完成。物联网卡成片重连会给网络带来二次冲击,重连风暴可能把刚爬起来的网再次压垮。所以恢复阶段必须限流、分批放行——这正是后来KDDI 2022年大断网里同样栽过跟头的环节。

五、事后账单:设备商、运营商、监管各自的代价

设备商侧,爱立信CEO Börje Ekholm公开道歉,公司在2019年初发布了详细的根因说明与整改计划:全面清查在网软件的证书有效期、修订软件发布与配置管理流程、建立证书到期预警机制。除了直接的成本投入,这次事故对其企业客户的信任伤害难以用财务数字精确计量——彼时爱立信正处在核心网市场竞争最激烈的窗口期。

运营商侧,O2与软银随后均公布了面向用户的话费减免类补偿方案。对运营商来说,直接补偿是小事:O2作为以客户体验著称的品牌,一天的数据断网配合糟糕的状态页沟通,在媒体上被反复鞭挞;软银则要面对日本监管对通信稳定性日益收紧的审视——三年后KDDI的61小时断网,证明日本监管的耐心确实越用越少。

监管侧,英国OFCOM对故障处置与用户沟通展开评估;日本总务省要求软银说明并防止再发。这次事件还留下一个公共安全层面的拷问:断网期间紧急呼叫的可达性如何保障?好在2G电路域兜住了语音。但如前所述,这个保险随着网络演进正在消失,监管要求的“核心网级灾备”随之水涨船高。

六、老兵视角:核心网运维的五条军规

复盘这场事故,我把它沉淀为五条可落地的军规,按优先级排序:

  1. 把证书当设备管,别当文件管。 在网元、许可证、隧道两端跑一圈证书清单:谁签发的、什么时候到期、谁负责续签、过期前多久告警。要求很简单——任何一张在网证书的剩余有效期,你必须能在10分钟内答出来。证书过期导致的故障,在2018年之后依旧是全球IT和电信行业的惯犯,没有理由成为你的。
  2. 盯住“软件批次”这个暗维度。 做资产台账时,除了设备名和版本号,把补丁批次、配置模板指纹也纳入。评估任何版本升级时,问一句:全球还有谁在用这一批?设备商若发布过相关通告,务必逐条比对。你和其他运营商的共同变量,就是你们共同的爆点。
  3. 永远保留一条“降级的活路”。 O2那天语音能通,靠的是电路域冗余。在网络演进规划里,每个退网决策都要过一遍“假设分组域全瘫,语音和紧急呼叫走哪里”的灵魂拷问。没有答案的退网方案,就是给未来的自己埋雷。
  4. 把恢复当成作战计划预演。 网元分批重启顺序、物联网重连限流预案、客服话术、状态页自动联动更新——这些不该在故障发生时才被发明。状态页与故障工单系统打通,是2018年O2被骂最惨的一课,成本极低,必须做。
  5. 设备商集中度就是系统性风险。 核心网市场高度集中是行业现实,标准允许多种实现,具体行为以各厂家官方文档为准,但选型时的核心问题始终是:同一软件批次在你的网里的暴露面有多大?这个问题值得写进每一份设备商季度沟通会的固定议题。

七、结语

六年多过去,回头再看这场事故,它最大的价值不在于“证书要续期”这个浅显的教训,而在于它把三件事摆上了台面:安全机制本身可以成为故障源;设备商软件批次让不相干的运营商结成命运共同体;网络演进砍掉冗余的同时,也砍掉了灾难日的退路。2022年的KDDI、2024年的Optus,本质上都在用各自的代价重复验证这套逻辑。核心网运维这门手艺,说到底就是在“效率、成本、冗余”三角里替几千万用户守住底线——每一张过期的证书、每一个没演练过的预案,都是这条底线上的针眼。

参考来源

  1. The Guardian: O2 network outage — customers hit as data services fail — 《卫报》对12月6日故障的全程追踪报道,含O2用户规模与恢复进展
  2. BBC News: O2 network outage — customers could get compensation — BBC对故障影响面、补偿方案与爱立信声明的报道
  3. Ericsson官方新闻稿: Ericsson software issue in mobile packet core(2018年12月) — 爱立信对证书过期根因的官方说明(本文根因解读主轴)
  4. Telecoms.com: Ericsson confirms expired certificate caused O2 outage — 行业媒体对根因确认与软银、Telstra受影响情况的补充报道

注:文中受影响用户数、恢复时长等数字均转引自上述媒体当年的公开报道口径,个别细节以官方最终报告为准。


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入