一张过期证书，瘫掉半个英国：O2「证书门」断网事件全复盘

概述： 2018年12月6日凌晨，英国第二大移动运营商O2全国移动数据业务突然中断，约2500万直连用户（含转售品牌口径超3000万）陷入“满格信号、上不了网”的窘境，持续超过20小时。同一天，日本SoftBank约3000万用户、澳洲Telstra部分地区同样中招。三方排查指向同一个根因：设备商爱立信网管软件里一张到达有效期的软件证书。这不是黑客攻击，不是设备爆炸，而是一张被所有人遗忘的数字证书，把半个地球的移动核心网送进了ICU。本文按时间线还原事件，拆解证书如何掀翻EPC核心网，并给出移动网络证书治理的落地清单。

一、早上六点半，伦敦人发现手机“死了”

2018年12月6日，英国当地时间凌晨5点刚过，O2的网管告警台上开始疯狂刷屏。天亮之后，社交媒体已经炸锅：用户反映手机信号满格，但微信刷不开、地图定不了位、网约车叫不到。出租车司机蹲在路边干着急，外卖平台订单量断崖式下跌。

O2是英国第二大移动运营商，官方口径约2500万直连用户。更麻烦的是，英国市场上大量转售品牌都骑在O2的网络上：giffgaff、Tesco Mobile、Sky Mobile，全在同一个圈里。BBC当天的报道直接把影响面按“超过3200万用户”来计算——这几乎是大半个英国的移动用户盘子。

受影响的还不只是手机用户。伦敦交通局（TfL）大量路口的交通信号灯依赖O2的SIM卡做远程监控与配时下发。断网后，信号灯退化到本地默认配时方案继续工作——路口不会瘫痪，但交通控制中心失去了对近900个路口的实时掌控，早高峰的伦敦稳态直接变成了“盲开”。公交到站显示屏、共享单车（O2恰好在伦敦承载Santander Cycles的连接）也都趴了窝。

这里有一个值得网优同行注意的细节：用户侧的表现是“语音部分可用、数据全死”。能打通电话的用户，其实是回落到了2G/3G电路域——CS域语音走MSC交换核心，根本不经过出事的网元。而一切分组域业务——4G上网、短信部分场景、VoLTE——全部依赖SAE-GW这条大动脉。这个“半身不遂”的症状，后来成了定位根因的关键线索。

二、时间线：一张证书的二十四小时

先上干货，把整个事件的时间轴捋清楚（综合BBC、卫报及爱立信官方声明整理）：

用一张图看全局节奏：

timeline
    title 一张证书的二十四小时
    section 12月5日
        深夜 : 爱立信EMS网管软件内置证书到达有效期
    section 12月6日
        凌晨 : O2英国全国移动数据业务中断
        上午 : giffgaff等转售品牌同步瘫痪
        午后 : SoftBank日本约3000万用户通信受阻
        同日 : Telstra澳洲部分地区移动数据异常
    section 12月7日
        清晨 : O2完成修复 网络逐步恢复
        当日 : 爱立信发布声明承认证书缺陷

三、根因拆解：证书躺在网管里，炸的是核心网

这个案例最精彩的地方，是把一条完整的故障传导链摆在了所有运维人面前。

EPC核心网里，SAE-GW（S-GW/P-GW，即服务网关与分组数据网关）是所有用户面流量的必经之路。每个用户的每一次附着、每一条默认承载、每一条GTP-U隧道，都终结在SAE-GW上。而管理这些网元的，是爱立信的EMS网管系统（Equipment Manager，隶属OSS域）。

故障链是这样的：

flowchart TD
    A["网管EMS软件内置证书到期"] -->|校验失败| B["EMS进程异常退出"]
    B --> C["其下挂SAE-GW节点被复位"]
    C --> D["PS域数据会话全部丢失"]
    C --> E["MME与GW协作异常"]
    D --> F["用户侧表现：无4G与3G数据"]
    E --> F
    G["CS域语音走传统交换核心"] --> H["部分2G与3G语音仍可用"]
    F --> I["O2与爱立信联合处置"]
    H --> I
    I --> J["更新证书并分批重启网元"]
    J --> K["业务逐步恢复"]

拆开讲三个关键点：

第一，证书为什么会在网管里？ 移动网络里的证书远比公众想象的多：网元与SecGW之间的IPsec隧道（3GPP TS 33.210定义的网络域安全）要证书，网管与网元之间的管理面通信要证书，软件许可、版本校验同样可能绑证书。这些证书往往在设备开通那天就埋进了软件里，有效期两到三年。爱立信事后声明确认，问题出在安装在SAE-GW与MME节点相关软件中的缺陷证书——证书到期后校验失败，牵连其管理的核心网节点被复位，用户面会话瞬间蒸发。标准与协议本身允许各厂家在实现细节上有所差异，具体机制以厂家官方复盘为准，但公共结论是一致的：一张过期的证书，让整组SAE-GW集体下线。

第二，为什么冗余没救场？ 这是整个事件最扎心的教训。SAE-GW从来都是.geo冗余、1+1热备、池化部署——单网元故障在教科书里根本不算事故。但问题在于：证书是共享状态。主备两台GW都由同一套EMS管理，软件里埋的是同一批次、同一有效期的证书。证书到期的那一刻，主备一起死。冗余防的是随机硬件故障，防不了“所有副本共享同一份状态”的系统性缺陷。这就是我们常说的：冗余只对独立故障有效，对共模故障（common-mode failure）完全免疫为零。

第三，为什么恢复花了二十多个小时？ 不是找不到问题，而是不敢按回车。SAE-GW承载着数千万条活跃会话，恢复过程意味着网元重启、证书更新、用户批量重新附着。如果一口气回来，MME和HSS要同时处理千万级的附着请求，处理不好就是二次事故——信令风暴。所以O2与爱立信只能分区域、分批次地重启网元、观察指标、再放下一批。凌晨出的故障，忙碌到第二天清晨才敢宣布恢复，每一步都是在钢丝上走。

顺带说一个工程细节：为什么没有提前告警？因为证书的有效期信息埋在网管软件内部，当时的网管体系里没有把“证书到期”当成一类受监控对象。它不像CPU、不像license，没有独立告警点。全世界的网管系统在2018年之前，几乎都没有证书生命周期管理这个功能项。

四、同一天，地球另一端：供应链集中度的现实压力测试

如果只有O2一家出事，这只是一个“倒霉案例”。真正让整个行业脊背发凉的，是同一天倒下的不止一家。

同一个设备商、同一版网管软件、同一张证书的有效期——三个国家、三个时区的核心网，在24小时内以完全相同的方式倒下。SoftBank的故障窗口与O2高度重合，根因通报也直指爱立信设备证书。这意味着：当核心网软件高度集中于少数设备商时，一张证书就是一次全球性的“供应链压力测试”。 这起事件之后，“同版本软件跨地域部署的共模风险”被正式写进了多家运营商的风险管理议程，也成了后来欧盟ICT供应链风险评估报告里反复引用的典型案例。

日本总务省事后对SoftBank提出行政指导，要求彻底查明原因并防止再发；英国Ofcom则要求O2提交事件说明。两个监管机构的关注点高度一致：单一供应商缺陷为何能穿透所有冗余设计。

五、处置复盘：重启治标，换证治本，流程治根

O2与爱立信的处置过程，算得上一次教科书级的联合作业，但代价昂贵：

1. 止血：确认证书根因后，优先获取新证书并完成EMS侧更新，阻断故障继续扩散；
2. 分批恢复：按区域分批重启SAE-GW，每批之间观察附着成功率、寻呼成功率、核心网CPU与信令负荷，防止恢复流量引发信令风暴；
3. 透明沟通：O2在社交媒体上滚动通报进展——尽管第一天被骂得很惨，但持续的信息披露稳住了舆论；
4. 担责与补偿：爱立信公开声明承担全部责任；O2向受影响的企业客户（含TfL这类关键合作方）提供补偿方案，但对个人用户未做自动减免，英国媒体对此批评不少；
5. 监管介入：Ofcom启动事件问询，日本总务省对SoftBank发出行政指导。

事故后爱立信对其证书管理机制做了整改，业界普遍加强了对设备商软件内嵌证书有效期的交底要求。但真正的改变发生在运营商侧——大家终于把证书当成和网络光纤一样的基础设施来管理了。

六、教训清单：把证书当光纤一样管理

18年核心网运维干下来，我的体会是：搞瘫网络的从来都是最不起眼的东西。路由器配置、DNS TTL、证书有效期，全都安静地躺在角落，直到某天凌晨集体发难。2018年的“证书门”给移动网络留下了一份可以直接抄作业的清单：

还有一个面向未来的判断必须讲清楚：5GC让证书问题变得更严重，而不是更轻。SBA架构下，NF间通信走TLS（3GPP TS 33.501），HTTP/2服务化接口、OAuth2令牌、网络切片的安全凭证，证书与密钥的数量比EPC时代高出一个数量级。4G时代一张证书瘫一个国家，5G时代如果不建立证书生命周期管理，同等缺陷的爆炸半径只会更大。眼下主流设备商的核心网产品都已支持证书自动轮换与集中管理，标准允许多种实现，具体能力以各厂家官方文档为准——但“有没有台账、有没有人管”这件事，永远只能靠运营商自己。

七、结语

O2证书门过去多年了，但每次给运维团队讲故障案例，我仍然会拿它开场。它没有黑客、没有天灾、没有硬件烧毁，只有一行躺在软件里的有效期字段。所谓高可用架构，防得住随机的坏，防不住共享的错。 证书、license、DNS、NTP——这些“元设施”不承载一比特业务流量，却握着整个网络的生杀大权。运维的成熟度，从来不体现在处理过多少惊天动地的大故障，而体现在这些安静的东西，有没有人定期看一眼。

参考来源

1. BBC News — O2 network outage: Customers hit by mobile data blackout — 事件首日报道，含影响用户数、TfL交通灯受影响情况与Ofcom表态
2. The Guardian — 2018年12月7日技术版报道存档 — 网络恢复过程、爱立信声明与转售品牌影响面的连续报道
3. Ericsson Newsroom（官方新闻室） — 2018年12月7日关于缺陷软件证书涉及SAE-GW与MME节点的官方声明入口
4. SoftBank 官方公告（2018年通信障害相关） — 12月6日通信故障致歉公告与原因说明入口
5. Transport for London — 媒体新闻页 — 断网期间信号灯应急预案与受影响路口数量的官方通报入口

注：本文写作时外部检索通道受限，核心事实依据BBC、卫报、爱立信及SoftBank公开报道与声明整理，个别细节数字（如路口数量、补偿方案）以官方通报为准。

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。