## 一张过期证书：多国断网复盘 **概述**：2018年12月6日清晨，英国O2的2500万用户一夜醒来发现4G数据全断；同一时刻，日本软银逾3000万用户、澳大利亚Telstra部分用户遭遇同样命运。把三国网络同时撂倒的，不是黑客、不是光缆、也不是地震，而是爱立信移动分组核心网软件里**一张过期了的数字证书**。本文以爱立信官方声明与BBC、《卫报》当年的连续报道为主轴，复盘这场罕见的多国连锁断网：故障如何发生、为什么语音还能打、为什么恢复花了一天多、事后各方掏了什么代价，以及它给核心网运维留下了哪些至今适用的军规。 ## 目录 - 一、清晨五点半：半个英国的4G没了 - 二、这不是英国一家的事：跨国传染链 - 三、根因解剖：一张证书怎么撂倒整个分组域 - 四、处置复盘：为什么恢复花了一天多 - 五、事后账单：设备商、运营商、监管各自的代价 - 六、老兵视角：核心网运维的五条军规 - 七、结语 ## 一、清晨五点半：半个英国的4G没了 2018年12月6日，星期四，当地时间凌晨5点30分左右，英国第二大移动运营商O2的移动数据业务开始大面积中断。用手机刷不了网页、发不出WhatsApp、导航失灵、打车软件转圈——伦敦地铁里的通勤族很快发现，自己手里的智能手机退化成了“能打电话的诺基亚”。 据BBC和《卫报》当天的报道，O2全网约2500万用户中的绝大多数在早高峰前失去了3G/4G数据服务，物联网业务也遭殃——这一点常常被忽略：O2在英国承接了大量2G/3G物联网连接，包括公交站牌、读表、物流追踪设备。数据网一瘫，这些“看不见的用户”成片掉线，部分城市公交到站显示屏集体黑脸。 一个耐人寻味的细节是：**电话基本还能打，短信基本还能发**。这意味着网络并没有全死，死的只是“分组域”。对核心网工程师来说，这句话基本就把根因锁定在了SGSN/MME这一层的控制面，而不是无线、传输或号码分析。当天上午，O2确认问题出在第三方设备商爱立信的软件上，随后爱立信官方也发声明确认：其移动分组核心网（Mobile Packet Core）软件中的一个证书过期，导致全球部分运营商网元故障。 值得吐槽的是O2当天的危机沟通：大量用户在社交媒体上轰炸，而O2的官方网络状态页面相当长时间没有更新故障信息，被用户截图嘲讽“网络断了，连告诉你网络断了的服务也断了”。这个细节后来被英国监管机构盯上，成为复盘里沟通不畅的典型反例。 ## 二、这不是英国一家的事：跨国传染链 如果只有O2一家出事，这只是一个普通的单运营商故障。但接下来的几个小时里，事态明显升级为**设备商级的全球性事件**： - **日本软银（SoftBank）**：当天下午（日本时间），软银移动网络出现大规模数据业务中断，受影响用户规模据报道超过3000万。软银同样使用爱立信的移动分组核心网设备。日本总务省随后过问此事，软银成为本次事故中受影响用户数最多的运营商。 - **澳大利亚Telstra**：部分依赖同款旧版本分组核心软件的业务出现异常，好在影响面小，当日恢复。 - 其他零星报告：欧洲、俄罗斯等地有运营商报告短时异常，但均未达到英日两国的量级。 这个“跨国传染”的结构非常值得玩味。爱立信事后解释：只有**特定软件版本、特定配置**的网元会被过期的证书击中。换句话说，爱立信全球几十张网里，部署了同一批次软件且采用了那一种（事后被定义为非标准）配置的运营商，同时中招；其余网络安然无恙。 这就是核心网运维里最隐蔽的一类风险——**软件批次风险**。同一设备商的同一款产品，会因为版本、补丁、配置模板的差异，在全球分裂成若干“命运共同体”。你在年度体检时和友商比对KPI，觉得自己一切都好，却不知道自己和地球另一端的某张网用的是“同一批子弹”，引信在同一个时刻点燃。事故之前，O2和软银的网优团队大概互相都不知道对方的存在。 ## 三、根因解剖：一张证书怎么撂倒整个分组域 ### 证书在核心网里是干什么的 现代核心网设备软件里大量使用X.509数字证书：节点之间的IPsec隧道协商、软件许可（License）校验、与运营商PKI体系的互信、软件模块的完整性验证等等。证书都有有效期，到期必须续签。这套机制本来是安全设计——问题在于，**安全机制本身成了单点故障源**。 据爱立信官方声明，此次的过期证书是移动分组核心网软件中的一个EVI证书，由第三方颁发。证书过期后，网元软件在启动/运行校验环节判定证书无效，软件无法正常工作，SGSN/MME节点宕掉。爱立信后续进一步说明，问题涉及特定批次的软件配置，属于“一次性、非标准配置”引发的连锁反应。 ### 故障传导链 用一张图说清楚这张证书是怎么把用户的4G“弄没”的： ```mermaid flowchart TD A["12月6日晨
EVI证书到期"] --> B["网元软件校验失败"] B --> C["SGSN与MME节点宕机"] C --> D["4G与3G附着失败
数据业务全断"] C --> E["2G与3G电路域未受损
语音短信可用"] D --> F["信令与客服话务拥塞"] F --> G["换证书升级软件
分批重启网元"] G --> H["次日上午逐步恢复"] ``` 这里展开讲两个工程师最关心的点。 **第一，为什么语音还活着？** O2和软银当时都还保有2G/3G电路交换域，语音走CS域（MSC/CSFB回落），而CS域不依赖出事的分组核心网。所以手机仍能通过2G/3G完成主被叫。这个“旧架构”在2018年常被当作退网压力测试里的包袱，事故那天却成了保命的冗余。设想放到今天：如果2G/3G已退网、语音全面VoLTE化，同样一张过期证书瘫掉MME，用户将是**数据和语音双双全断**——包括紧急呼叫。这也是后来各国运营商在2G退网评估中，必须把“分组域灾难场景下的语音可达性”重新拉进评审清单的直接原因之一。 **第二，为什么故障是“全有全无”式的？** 证书校验失败不是性能劣化，而是软件逻辑上的硬失败：校验不过，进程不工作。所以用户看到的现象不是“网速变慢”“时通时断”，而是干脆的附着失败、无服务。这类“脆断”型故障有个运维特征：告警是突发的、成片的、同时刻的，KPI曲线上是一个矩形坑，而不是缓坡。当天见过现场的人，对那种告警刷屏的密度都会有印象。 ## 四、处置复盘：为什么恢复花了一天多 事故的时间线，根据BBC、《卫报》及行业媒体的连续报道整理如下： | 时间（当地） | 事件 | |---|---| | 12月6日 约05:30 | O2移动数据业务大面积中断，用户开始报告无服务 | | 12月6日 上午 | O2确认系爱立信软件问题；爱立信发声明确认证书过期根因，多国故障进入公众视野 | | 12月6日 下午至傍晚 | 软银日本数据业务大规模中断后逐步恢复；Telstra异常业务当日恢复 | | 12月6日 夜间 | O2工程师与爱立信团队协同处置，分批更换证书/升级软件并重启网元 | | 12月7日 上午至中午 | O2移动数据逐步恢复，当天大部分业务回归正常 | | 2019年1月 | 爱立信发布进一步根因说明与整改措施，事件进入运营商补偿与监管评估阶段 | 很多人会问：不就换张证书吗，为什么拖了一天多？核心网老手都懂，这里有三个“慢”是必然的： **慢在定位。** 故障初期，O2的故障现象在无线侧看起来像基站大面积退服，在核心网侧像信令风暴，客服侧像HLR/HSS问题。多国同时报障之后，“共同变量是爱立信软件”这一交叉线索才浮出水面。跨厂商、跨国界、跨时区的联合定位，光是拉起一个各方都认的会议桥就要几个小时。 **慢在处置的不可回退性。** 给全网几十对SGSN/MME换证书或打补丁，不可能一把梭。核心网重启是有业务代价的动作，必须分批次、按备份冗余关系滚动执行，每一批都要确认用户附着、寻呼、切换KPI正常再动下一批。这是纪律，不是低效。 **慢在验证。** 数据恢复不等于恢复完成。物联网卡成片重连会给网络带来二次冲击，重连风暴可能把刚爬起来的网再次压垮。所以恢复阶段必须限流、分批放行——这正是后来KDDI 2022年大断网里同样栽过跟头的环节。 ## 五、事后账单：设备商、运营商、监管各自的代价 **设备商侧**，爱立信CEO Börje Ekholm公开道歉，公司在2019年初发布了详细的根因说明与整改计划：全面清查在网软件的证书有效期、修订软件发布与配置管理流程、建立证书到期预警机制。除了直接的成本投入，这次事故对其企业客户的信任伤害难以用财务数字精确计量——彼时爱立信正处在核心网市场竞争最激烈的窗口期。 **运营商侧**，O2与软银随后均公布了面向用户的话费减免类补偿方案。对运营商来说，直接补偿是小事：O2作为以客户体验著称的品牌，一天的数据断网配合糟糕的状态页沟通，在媒体上被反复鞭挞；软银则要面对日本监管对通信稳定性日益收紧的审视——三年后KDDI的61小时断网，证明日本监管的耐心确实越用越少。 **监管侧**，英国OFCOM对故障处置与用户沟通展开评估；日本总务省要求软银说明并防止再发。这次事件还留下一个公共安全层面的拷问：断网期间紧急呼叫的可达性如何保障？好在2G电路域兜住了语音。但如前所述，这个保险随着网络演进正在消失，监管要求的“核心网级灾备”随之水涨船高。 ## 六、老兵视角：核心网运维的五条军规 复盘这场事故，我把它沉淀为五条可落地的军规，按优先级排序： 1. **把证书当设备管，别当文件管。** 在网元、许可证、隧道两端跑一圈证书清单：谁签发的、什么时候到期、谁负责续签、过期前多久告警。要求很简单——任何一张在网证书的剩余有效期，你必须能在10分钟内答出来。证书过期导致的故障，在2018年之后依旧是全球IT和电信行业的惯犯，没有理由成为你的。 2. **盯住“软件批次”这个暗维度。** 做资产台账时，除了设备名和版本号，把补丁批次、配置模板指纹也纳入。评估任何版本升级时，问一句：全球还有谁在用这一批？设备商若发布过相关通告，务必逐条比对。你和其他运营商的共同变量，就是你们共同的爆点。 3. **永远保留一条“降级的活路”。** O2那天语音能通，靠的是电路域冗余。在网络演进规划里，每个退网决策都要过一遍“假设分组域全瘫，语音和紧急呼叫走哪里”的灵魂拷问。没有答案的退网方案，就是给未来的自己埋雷。 4. **把恢复当成作战计划预演。** 网元分批重启顺序、物联网重连限流预案、客服话术、状态页自动联动更新——这些不该在故障发生时才被发明。状态页与故障工单系统打通，是2018年O2被骂最惨的一课，成本极低，必须做。 5. **设备商集中度就是系统性风险。** 核心网市场高度集中是行业现实，标准允许多种实现，具体行为以各厂家官方文档为准，但选型时的核心问题始终是：同一软件批次在你的网里的暴露面有多大？这个问题值得写进每一份设备商季度沟通会的固定议题。 ## 七、结语 六年多过去，回头再看这场事故，它最大的价值不在于“证书要续期”这个浅显的教训，而在于它把三件事摆上了台面：安全机制本身可以成为故障源；设备商软件批次让不相干的运营商结成命运共同体；网络演进砍掉冗余的同时，也砍掉了灾难日的退路。2022年的KDDI、2024年的Optus，本质上都在用各自的代价重复验证这套逻辑。核心网运维这门手艺，说到底就是在“效率、成本、冗余”三角里替几千万用户守住底线——每一张过期的证书、每一个没演练过的预案，都是这条底线上的针眼。 ## 参考来源 1. [The Guardian: O2 network outage — customers hit as data services fail](https://www.theguardian.com/business/2018/dec/06/o2-network-outage-latest-customers-data-ericsson) — 《卫报》对12月6日故障的全程追踪报道，含O2用户规模与恢复进展 2. [BBC News: O2 network outage — customers could get compensation](https://www.bbc.com/news/technology-46464422) — BBC对故障影响面、补偿方案与爱立信声明的报道 3. [Ericsson官方新闻稿： Ericsson software issue in mobile packet core（2018年12月）](https://www.ericsson.com/en/press-and-media/press-releases/2018/12/ericsson-software-issue-in-mobile-packet-core) — 爱立信对证书过期根因的官方说明（本文根因解读主轴） 4. [Telecoms.com: Ericsson confirms expired certificate caused O2 outage](https://telecoms.com/494510/ericsson-admits-expired-certificate-caused-o2-outage/) — 行业媒体对根因确认与软银、Telstra受影响情况的补充报道 *注：文中受影响用户数、恢复时长等数字均转引自上述媒体当年的公开报道口径，个别细节以官方最终报告为准。* --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。