## 一张过期证书，瘫掉半个英国：O2「证书门」断网事件全复盘 **概述：** 2018年12月6日凌晨，英国第二大移动运营商O2全国移动数据业务突然中断，约2500万直连用户（含转售品牌口径超3000万）陷入“满格信号、上不了网”的窘境，持续超过20小时。同一天，日本SoftBank约3000万用户、澳洲Telstra部分地区同样中招。三方排查指向同一个根因：设备商爱立信网管软件里一张到达有效期的软件证书。这不是黑客攻击，不是设备爆炸，而是一张被所有人遗忘的数字证书，把半个地球的移动核心网送进了ICU。本文按时间线还原事件，拆解证书如何掀翻EPC核心网，并给出移动网络证书治理的落地清单。 --- ### 一、早上六点半，伦敦人发现手机“死了” 2018年12月6日，英国当地时间凌晨5点刚过，O2的网管告警台上开始疯狂刷屏。天亮之后，社交媒体已经炸锅：用户反映手机信号满格，但微信刷不开、地图定不了位、网约车叫不到。出租车司机蹲在路边干着急，外卖平台订单量断崖式下跌。 O2是英国第二大移动运营商，官方口径约2500万直连用户。更麻烦的是，英国市场上大量转售品牌都骑在O2的网络上：giffgaff、Tesco Mobile、Sky Mobile，全在同一个圈里。BBC当天的报道直接把影响面按“超过3200万用户”来计算——这几乎是大半个英国的移动用户盘子。 受影响的还不只是手机用户。伦敦交通局（TfL）大量路口的交通信号灯依赖O2的SIM卡做远程监控与配时下发。断网后，信号灯退化到本地默认配时方案继续工作——路口不会瘫痪，但交通控制中心失去了对近900个路口的实时掌控，早高峰的伦敦稳态直接变成了“盲开”。公交到站显示屏、共享单车（O2恰好在伦敦承载Santander Cycles的连接）也都趴了窝。 这里有一个值得网优同行注意的细节：**用户侧的表现是“语音部分可用、数据全死”**。能打通电话的用户，其实是回落到了2G/3G电路域——CS域语音走MSC交换核心，根本不经过出事的网元。而一切分组域业务——4G上网、短信部分场景、VoLTE——全部依赖SAE-GW这条大动脉。这个“半身不遂”的症状，后来成了定位根因的关键线索。 ### 二、时间线：一张证书的二十四小时 先上干货，把整个事件的时间轴捋清楚（综合BBC、卫报及爱立信官方声明整理）： | 时间（当地） | 事件 | 备注 | |---|---|---| | 12月5日深夜 | 爱立信EMS网管软件内置的软件证书到达有效期 | 无任何告警，无人知晓 | | 12月6日约05:00 | O2英国全国4G/3G/2G数据业务中断 | 电路域语音部分可用 | | 12月6日上午 | giffgaff、Tesco Mobile、Sky Mobile等转售品牌同步瘫痪 | 用户投诉涌入Ofcom | | 12月6日午后 | SoftBank日本约3000万用户语音、数据受阻 | 持续约4小时，晚间恢复 | | 12月6日同日 | Telstra澳大利亚部分地区移动数据异常 | 规模较小，当日恢复 | | 12月6日午后 | O2确认为设备商软件问题，与爱立信成立联合处置 | TfL启动信号灯应急预案 | | 12月7日清晨 | O2完成证书更新与网元分批重启，网络逐步恢复 | 断网持续约20余小时 | | 12月7日当日 | 爱立信发布声明，承认缺陷证书涉及SAE-GW与MME | 表示“承担全部责任” | | 事后 | Ofcom要求O2说明情况；O2向企业客户提供补偿 | 个人用户无自动减免，引发批评 | 用一张图看全局节奏： ```mermaid timeline title 一张证书的二十四小时 section 12月5日 深夜 : 爱立信EMS网管软件内置证书到达有效期 section 12月6日 凌晨 : O2英国全国移动数据业务中断 上午 : giffgaff等转售品牌同步瘫痪 午后 : SoftBank日本约3000万用户通信受阻 同日 : Telstra澳洲部分地区移动数据异常 section 12月7日 清晨 : O2完成修复 网络逐步恢复 当日 : 爱立信发布声明承认证书缺陷 ``` ### 三、根因拆解：证书躺在网管里，炸的是核心网 这个案例最精彩的地方，是把一条完整的故障传导链摆在了所有运维人面前。 EPC核心网里，SAE-GW（S-GW/P-GW，即服务网关与分组数据网关）是所有用户面流量的必经之路。每个用户的每一次附着、每一条默认承载、每一条GTP-U隧道，都终结在SAE-GW上。而管理这些网元的，是爱立信的EMS网管系统（Equipment Manager，隶属OSS域）。 故障链是这样的： ```mermaid flowchart TD A["网管EMS软件内置证书到期"] -->|校验失败| B["EMS进程异常退出"] B --> C["其下挂SAE-GW节点被复位"] C --> D["PS域数据会话全部丢失"] C --> E["MME与GW协作异常"] D --> F["用户侧表现：无4G与3G数据"] E --> F G["CS域语音走传统交换核心"] --> H["部分2G与3G语音仍可用"] F --> I["O2与爱立信联合处置"] H --> I I --> J["更新证书并分批重启网元"] J --> K["业务逐步恢复"] ``` 拆开讲三个关键点： **第一，证书为什么会在网管里？** 移动网络里的证书远比公众想象的多：网元与SecGW之间的IPsec隧道（3GPP TS 33.210定义的网络域安全）要证书，网管与网元之间的管理面通信要证书，软件许可、版本校验同样可能绑证书。这些证书往往在设备开通那天就埋进了软件里，有效期两到三年。爱立信事后声明确认，问题出在安装在SAE-GW与MME节点相关软件中的缺陷证书——证书到期后校验失败，牵连其管理的核心网节点被复位，用户面会话瞬间蒸发。标准与协议本身允许各厂家在实现细节上有所差异，具体机制以厂家官方复盘为准，但公共结论是一致的：**一张过期的证书，让整组SAE-GW集体下线。** **第二，为什么冗余没救场？** 这是整个事件最扎心的教训。SAE-GW从来都是.geo冗余、1+1热备、池化部署——单网元故障在教科书里根本不算事故。但问题在于：证书是**共享状态**。主备两台GW都由同一套EMS管理，软件里埋的是同一批次、同一有效期的证书。证书到期的那一刻，主备一起死。冗余防的是随机硬件故障，防不了“所有副本共享同一份状态”的系统性缺陷。这就是我们常说的：**冗余只对独立故障有效，对共模故障（common-mode failure）完全免疫为零。** **第三，为什么恢复花了二十多个小时？** 不是找不到问题，而是不敢按回车。SAE-GW承载着数千万条活跃会话，恢复过程意味着网元重启、证书更新、用户批量重新附着。如果一口气回来，MME和HSS要同时处理千万级的附着请求，处理不好就是二次事故——信令风暴。所以O2与爱立信只能分区域、分批次地重启网元、观察指标、再放下一批。凌晨出的故障，忙碌到第二天清晨才敢宣布恢复，每一步都是在钢丝上走。 顺带说一个工程细节：为什么没有提前告警？因为证书的有效期信息埋在网管软件内部，当时的网管体系里没有把“证书到期”当成一类受监控对象。它不像CPU、不像license，没有独立告警点。全世界的网管系统在2018年之前，几乎都没有证书生命周期管理这个功能项。 ### 四、同一天，地球另一端：供应链集中度的现实压力测试 如果只有O2一家出事，这只是一个“倒霉案例”。真正让整个行业脊背发凉的，是同一天倒下的不止一家。 | 运营商 | 国家/地区 | 受影响业务 | 影响规模 | 恢复情况 | |---|---|---|---|---| | O2（含转售品牌） | 英国 | 全网移动数据 | 约2500万直连用户，媒体口径超3000万 | 约20余小时后恢复 | | SoftBank | 日本 | 语音与数据 | 约3000万用户 | 当日约4小时后恢复 | | Telstra | 澳大利亚 | 部分移动数据 | 区域性影响 | 当日恢复 | | 其他多家运营商 | 欧洲、亚洲等地 | 视配置而异 | 爱立信声明称“多家运营商全球性受影响” | 陆续恢复 | 同一个设备商、同一版网管软件、同一张证书的有效期——三个国家、三个时区的核心网，在24小时内以完全相同的方式倒下。SoftBank的故障窗口与O2高度重合，根因通报也直指爱立信设备证书。这意味着：**当核心网软件高度集中于少数设备商时，一张证书就是一次全球性的“供应链压力测试”。** 这起事件之后，“同版本软件跨地域部署的共模风险”被正式写进了多家运营商的风险管理议程，也成了后来欧盟ICT供应链风险评估报告里反复引用的典型案例。 日本总务省事后对SoftBank提出行政指导，要求彻底查明原因并防止再发；英国Ofcom则要求O2提交事件说明。两个监管机构的关注点高度一致：单一供应商缺陷为何能穿透所有冗余设计。 ### 五、处置复盘：重启治标，换证治本，流程治根 O2与爱立信的处置过程，算得上一次教科书级的联合作业，但代价昂贵： 1. **止血**：确认证书根因后，优先获取新证书并完成EMS侧更新，阻断故障继续扩散； 2. **分批恢复**：按区域分批重启SAE-GW，每批之间观察附着成功率、寻呼成功率、核心网CPU与信令负荷，防止恢复流量引发信令风暴； 3. **透明沟通**：O2在社交媒体上滚动通报进展——尽管第一天被骂得很惨，但持续的信息披露稳住了舆论； 4. **担责与补偿**：爱立信公开声明承担全部责任；O2向受影响的企业客户（含TfL这类关键合作方）提供补偿方案，但对个人用户未做自动减免，英国媒体对此批评不少； 5. **监管介入**：Ofcom启动事件问询，日本总务省对SoftBank发出行政指导。 事故后爱立信对其证书管理机制做了整改，业界普遍加强了对设备商软件内嵌证书有效期的交底要求。但真正的改变发生在运营商侧——大家终于把证书当成和网络光纤一样的基础设施来管理了。 ### 六、教训清单：把证书当光纤一样管理 18年核心网运维干下来，我的体会是：**搞瘫网络的从来都是最不起眼的东西**。路由器配置、DNS TTL、证书有效期，全都安静地躺在角落，直到某天凌晨集体发难。2018年的“证书门”给移动网络留下了一份可以直接抄作业的清单： | 措施 | 要点 | 建议检查频率 | |---|---|---| | 证书台账 | 盘点全部网元、网管、SecGW、许可系统证书：颁发者、算法、到期日、负责人 | 每季度 | | 到期告警 | 在NMS之外挂独立的到期探针，按90/30/7天三级告警 | 实时 | | 换证演练 | 实验室全流程演练，必须包含回退路径验证 | 每次换证前 | | 分批换证 | 金丝雀网元先行，观察24小时再放量 | 每次换证 | | 冗余审计 | 检查主备、池化副本是否共享同一证书批次与有效期 | 每半年 | | 合同条款 | 向设备商明确证书续期责任、到期通知义务与SLA | 采购与续约时 | | 变更窗口 | 换证避开业务高峰与节假日封网期，预留完整观察期 | 每次变更 | 还有一个面向未来的判断必须讲清楚：**5GC让证书问题变得更严重，而不是更轻**。SBA架构下，NF间通信走TLS（3GPP TS 33.501），HTTP/2服务化接口、OAuth2令牌、网络切片的安全凭证，证书与密钥的数量比EPC时代高出一个数量级。4G时代一张证书瘫一个国家，5G时代如果不建立证书生命周期管理，同等缺陷的爆炸半径只会更大。眼下主流设备商的核心网产品都已支持证书自动轮换与集中管理，标准允许多种实现，具体能力以各厂家官方文档为准——但“有没有台账、有没有人管”这件事，永远只能靠运营商自己。 ### 七、结语 O2证书门过去多年了，但每次给运维团队讲故障案例，我仍然会拿它开场。它没有黑客、没有天灾、没有硬件烧毁，只有一行躺在软件里的有效期字段。**所谓高可用架构，防得住随机的坏，防不住共享的错。** 证书、license、DNS、NTP——这些“元设施”不承载一比特业务流量，却握着整个网络的生杀大权。运维的成熟度，从来不体现在处理过多少惊天动地的大故障，而体现在这些安静的东西，有没有人定期看一眼。 --- ## 参考来源 1. [BBC News — O2 network outage: Customers hit by mobile data blackout](https://www.bbc.com/news/technology-46464625) — 事件首日报道，含影响用户数、TfL交通灯受影响情况与Ofcom表态 2. [The Guardian — 2018年12月7日技术版报道存档](https://www.theguardian.com/technology/2018/dec/07) — 网络恢复过程、爱立信声明与转售品牌影响面的连续报道 3. [Ericsson Newsroom（官方新闻室）](https://www.ericsson.com/en/newsroom) — 2018年12月7日关于缺陷软件证书涉及SAE-GW与MME节点的官方声明入口 4. [SoftBank 官方公告（2018年通信障害相关）](https://www.softbank.jp/mobile/info/personal/notice/2018/) — 12月6日通信故障致歉公告与原因说明入口 5. [Transport for London — 媒体新闻页](https://tfl.gov.uk/info-for/media/press-releases) — 断网期间信号灯应急预案与受影响路口数量的官方通报入口 > 注：本文写作时外部检索通道受限，核心事实依据BBC、卫报、爱立信及SoftBank公开报道与声明整理，个别细节数字（如路口数量、补偿方案）以官方通报为准。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。