一张过期证书，如何放倒日本三分之一手机用户——软银"12·6"断网八周年复盘

概述

2018年12月6日13:39，日本软银（SoftBank Corp）全国4G LTE业务突然中断，历时4小时25分钟，总务省认定的受影响规模约为3060万线——相当于当时日本三分之一的移动用户。根因后来被爱立信证实：其SGSN-MME分组核心网设备软件中一张过期的安全证书。同一天，同一份软件还放倒了英国O2及其虚拟运营商阵营，波及全球11个国家的运营商。本文基于软银官方公告、日本总务省重大事故报告等一手材料，还原时间线、拆解共模失效的架构根因，并给出一张运维人可以直接抄走的证书生命周期管理清单。

一、4小时25分钟，半个日本的手机变砖

先看软银官方事故公告的关键句（原文翻译）：

“2018年12月6日13:39至18:04，因爱立信制造的分组交换设备软件错误导致的网络故障，‘SoftBank’‘Y!mobile’品牌的4G LTE手机业务、固话业务‘Ouchi-no-Denwa（家之电话）’以及部分‘SoftBank Air’业务在全国范围内无法使用。”

几个细节值得注意：

• 受影响的是“全国”，不是某个片区。 软银的EPC（4G分组核心网）集中部署在东京中心和大阪中心两地，全网用户共用这两个资源池。核心网一倒，没有“局部故障”这个选项。
• 4G断了，3G跟着挤爆。 事故公告明确记载：“LTE业务中断的同时，3G网络出现流量激增，导致业务进一步劣化。”3000多万终端同时回退到一张容量小得多的3G网，结果就是连回退路也走不通。
• 波及面远超手机。 据《日本经济新闻》当时报道，航空、铁路、物流、游乐园等大量依赖移动通信的企业运营受到干扰——事故发生在周四下午，正是社会运转的高峰时段。
• 时间点极其微妙。 13天后的12月19日，软银电信子公司（TSE: 9434）在东京证券交易所主板上市。招股说明书里“网络故障风险”那一页，从套话变成了现实，堪称史上最贵的上市前压力测试之一。

二、时间线与关键节点

timeline
    title 软银2018-12-06断网时间线（JST）
    2018年3月前后 : 故障版本部署，内嵌证书写入全网
    12月6日 13:39 : 东京/大阪全部SGSN-MME软件故障 : LTE核心网瘫痪
    13:40~14:00 : 3060万线终端回退3G : 3G网全网拥塞
    14:00~18:04 : 逐台回退旧版本软件 : 分批恢复
    18:04 : 全网恢复正常 : 历时4小时25分
    12月27日 : 提交重大事故报告书
    2019年1月 : 总务省事故检证会议 : 警告与书面行政指导

三、根因深挖：证书如何变成全网“自杀开关”

这件事最反直觉的地方在于：放倒一个国家移动网络的，不是火灾、不是光缆被挖断、不是DDoS，而是一张到期没续的证书。但如果你在核心网干过，就会明白这不是偶发，而是架构层面的必然。

第一层：SGSN-MME是什么位置。 SGSN-MME是爱立信的4G/3G双模分组核心网元，负责终端的附着、鉴权、承载建立、寻呼、切换——LTE上所有业务的第一跳控制面。MME不工作，手机就连不上4G，表现就是信号格有、网络无。这是典型的“控制面单点、用户面全灭”。

第二层：为什么是“全部”设备同时倒。 软银公告的原话是“东京中心和大阪中心安装的全部爱立信制造分组交换设备”出现软件故障。注意，东京和大阪两地资源池本是地理冗余设计——防的是机房断电、火灾、地震这类独立故障。但这一次，两地跑的是同一个软件版本、同一张证书。证书到期校验是软件自身的行为，与部署位置无关，于是地理冗余在共模失效（common-mode failure）面前形同虚设。这是本案例最值得写进教材的一课：冗余防得住随机故障，防不住系统性故障；两地三中心的拓扑冗余，挡不住“同一张盘装出来的软件”。

第三层：证书过期为什么等于停服。 现代电信软件大量使用代码签名证书、许可证证书、节点间TLS证书，软件启动或运行周期校验失败时，按fail-stop设计直接拒绝服务——这在安全上是对的（宁可停服也不能裸奔），但在可用性上是把双刃剑：证书变成了一个埋在软件里的定时开关。这张证书随9个月前的软件升级写入全网，到期日不但在运营商的告警系统里没有台账，很可能连设备商自己的交付流程里都没有到期监控。爆炸窗口以“月”为单位，任何一次例行巡检都撞不见它。

第四层：3G回退为什么救不了场。 终端发现4G不可用后会自动重选到3G（W-CDMA），这是标准的互操作设计。但3G网的容量、信令处理能力是按“4G的补充”规划的，3000万线终端同时涌入，_attach_信令风暴加数据流量直接把3G SGSN和无线侧打满，形成二次拥塞。语音侧更尴尬：VoLTE（IMS over LTE）依赖EPC，EPC一倒VoLTE全灭，终端回落3G电路域打电话，又撞上拥塞的墙。据共同社等媒体报道，事故期间部分110/119紧急呼叫受到影响——这也是日本监管事后重点追问的方向。

flowchart TD
    A["约9个月前: SGSN-MME软件升级<br/>内嵌安全证书随版本写入全网"] --> B["2018-12-06 13:39<br/>证书到期, 软件校验失败停服"]
    B --> C["共模失效: 东京/大阪两地资源池<br/>同一版本+同一证书, 地理冗余失效"]
    C --> D["3060万线终端失联<br/>LTE数据/VoLTE中断"]
    C --> E["终端自动回退3G"]
    E --> F["3G容量远小于4G<br/>信令风暴+拥塞, 业务二次劣化"]
    D --> G["恢复动作: 全部网元回退旧版本软件"]
    F --> G
    G --> H["18:04全网恢复<br/>历时4小时25分"]

四、11国同震：英国那边还有一面镜子

软银公告里有一句常被忽略的话：爱立信报告称，“由同一软件引起的故障也同时发生在安装了同款爱立信设备的其他10个国家的运营商网络中”——合计11国。

英国是受影响最重的第二现场。O2（用户规模约2500万）从6日中午起移动数据业务大面积中断，giffgaff、Tesco Mobile、Sky Mobile等O2系虚拟运营商一同遭殃；伦敦交通局（TfL）公交站台的到站时间显示屏用的正是O2的SIM卡，一度集体“离线”。爱立信CEO Börje Ekholm随后公开道歉，并确认根因是过期证书。据ZDNet报道，软银当天傍晚即全面恢复，而O2的3G/4G数据业务恢复一直拖到12月7日——同一根因，两家运营商的恢复速度差了整整一个晚上，差异就在回退预案的成熟度和执行效率上。

五、追责与处置：日本“重大事故”制度的教科书样本

日本对这类事故有一套量化到残酷程度的认定制度。依据《电气通信事业法》施行规则第58条，“重大事故”的门槛是时间×用户数的矩阵（总务省原文）：

软银这次：4小时25分钟 × 3060万线，每一条都远超门槛，属于必须依《电气通信事业法》第28条向总务大臣报告的“重大事故”。12月27日总务省正式受理事故报告书，2019年1月中旬召开“电气通信事故检证会议”专项审议。据行业媒体后来的梳理，总务省最终对软银作出警告并给予书面行政指导，软银公开的整改方向包括：版本回退流程、设备台账盘点、恢复程序修订和多厂商策略。另据当时媒体报道，软银后续还向符合条件用户提供了话费减免（据报道约为每线200日元量级），以替代日本业界传统上少见的现金赔付。

对比一下监管节奏：从故障发生到正式报告17天，到专项检证会议约40天——而2022年KDDI断网事故后，日本进一步把重大事故报告细则和用户补偿指引加码。软银这4小时25分钟，实际上为日本后来的运营商监管框架付了学费。

六、给运维人的六条教训（可直接抄走）

八年过去，这个案例的每一条教训都没有过时，反而在5G SA时代变得更锋利——因为SBI接口全面TLS/mTLS化之后，全网证书数量比2018年放大了两个数量级。

1. 把证书当配置数据管，而不是当“设备商的事”。 建立全网证书台账（含设备商内嵌证书、license有效期），纳入CMDB；到期前90/60/30天三级告警。2018年没有运营商做这件事，2026年还没做的，就是在赌下一次“12月6日”。

2. 识别“时间触发型”故障这个物种。 故障按触发方式分三类：随机硬件故障（冗余有效）、操作触发故障（变更管理可防）、时间触发故障（证书/license/定时器溢出/闰秒）。第三类潜伏期以月计，最难防，唯一的解法是台账+自动化巡检。今天完全可以写一个每天扫全网证书到期时间的脚本，甚至交给AIOps平台做例行巡航——成本几乎为零，性价比是所有容灾投入里最高的。

3. 警惕“完美冗余”下的共模失效。 东京/大阪双资源池挡不住同一张证书。审视你的网络：两地三中心跑的是不是同一个版本？灰度策略能不能做到“错版本、错时间窗、错批次”？版本升级要保留至少一个异构或异版本存活域，哪怕它平时只是个“活化石”。

4. 回退预案必须演练到能盲打。 软银4小时25分钟恢复，靠的是“整体回退旧版本”这条正确决策的快速执行；O2拖到第二天，差的就是预案成熟度。回退演练要回答三个问题：旧版本安装包和license还在不在？全网回退顺序（先恢复控制面还是先分流）谁拍板？回退后的数据兼容性谁验证过？

5. 把3G/4G（如今是4G/5G）回退容量当应急预案做，而不是当默认行为信。 终端自动回退不等于可用，容量差一个数量级的回退就是拥塞。预案里要有回退期间的限流、信令抑制、紧急呼叫优先策略，并定期压测。

6. 合同里写清楚证书责任条款。 2018年时，几乎没有任何一份运营商-设备商合同约定“设备内嵌证书到期由谁监控、谁续期、到期导致停服算不算SLA违约”。软银当天就把责任指向爱立信，但追责代替不了预防。新采购合同里，“证书与license生命周期管理义务”必须成为标准条款。

七、同类“定时炸弹”事故横向对比

把近年几起标志性大故障按触发方式排列，规律一目了然：

三 种触发方式，三个完全不同的防御体系：操作触发靠变更管理和灰度，随机故障靠冗余，时间触发靠台账和到期监控——而第三种恰恰是绝大多数运营商没有专门体系去管的盲区。软银案例的价值，就是把这个盲区用3060万用户的代价标了个价。

结语

证书过期，听起来像新手错误，但它发生在全球顶级设备商和顶级运营商身上，发生在双中心冗余、流程完备的日本电信业。这提醒我们：系统的可靠性上限，往往不取决于最贵的冗余架构，而取决于最不起眼的一行有效期字段。 八年后的今天，5G SA核心网上成百上千张mTLS证书、NFV层密钥、eSIM凭证每天在网元间流转——2018年12月6日13:39那张过期的证书，值得每一个通信运维人设为日历提醒。检查一下你网络的证书台账，就从今天开始。

参考来源

1. Apology for Mobile Communication Service Troubles — SoftBank官方公告 — 故障时段、受影响业务、根因与回退措施的一手表述
2. ソフトバンク株式会社から提出された重大な事故報告書の受領 — 日本总务省 — 3060万线认定、重大事故报告制度与施行规则第58条门槛表
3. Ericsson: Expired certificate caused O2 and SoftBank outages — ZDNet — 爱立信确认根因为过期证书及O2恢复进度
4. Ericsson apologises for software fault that brought down cellular networks — TelecomTV — SGSN-MME设备定位、11国受影响、爱立信道歉
5. Gov't to demand SoftBank explain cell service outage — 每日新闻 — 总务省要求提交报告与再发防止计划
6. Ericsson made an expired mobile-core certificate a cross-border accountability story — btw.media — 行政指导结果与软银整改措施梳理

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。