# 一张过期证书，如何放倒日本三分之一手机用户——软银"12·6"断网八周年复盘 ## 概述 2018年12月6日13:39，日本软银（SoftBank Corp）全国4G LTE业务突然中断，历时4小时25分钟，总务省认定的受影响规模约为3060万线——相当于当时日本三分之一的移动用户。根因后来被爱立信证实：其SGSN-MME分组核心网设备软件中一张过期的安全证书。同一天，同一份软件还放倒了英国O2及其虚拟运营商阵营，波及全球11个国家的运营商。本文基于软银官方公告、日本总务省重大事故报告等一手材料，还原时间线、拆解共模失效的架构根因，并给出一张运维人可以直接抄走的证书生命周期管理清单。 ## 一、4小时25分钟，半个日本的手机变砖 先看软银官方事故公告的关键句（原文翻译）： > “2018年12月6日13:39至18:04，因爱立信制造的分组交换设备软件错误导致的网络故障，‘SoftBank’‘Y!mobile’品牌的4G LTE手机业务、固话业务‘Ouchi-no-Denwa（家之电话）’以及部分‘SoftBank Air’业务在全国范围内无法使用。” 几个细节值得注意： - **受影响的是“全国”，不是某个片区。** 软银的EPC（4G分组核心网）集中部署在东京中心和大阪中心两地，全网用户共用这两个资源池。核心网一倒，没有“局部故障”这个选项。 - **4G断了，3G跟着挤爆。** 事故公告明确记载：“LTE业务中断的同时，3G网络出现流量激增，导致业务进一步劣化。”3000多万终端同时回退到一张容量小得多的3G网，结果就是连回退路也走不通。 - **波及面远超手机。** 据《日本经济新闻》当时报道，航空、铁路、物流、游乐园等大量依赖移动通信的企业运营受到干扰——事故发生在周四下午，正是社会运转的高峰时段。 - **时间点极其微妙。** 13天后的12月19日，软银电信子公司（TSE: 9434）在东京证券交易所主板上市。招股说明书里“网络故障风险”那一页，从套话变成了现实，堪称史上最贵的上市前压力测试之一。 ## 二、时间线与关键节点 | 时间（JST） | 事件 | |---|---| | 2018年3月前后 | 故障软件版本部署上线，软件包内嵌的安全证书随之写入全网设备（该软件“已运行约9个月”） | | 12-06 13:39 | 软银网络中心监测到东京、大阪两地全部爱立信分组交换设备软件故障，LTE核心网瘫痪 | | 13:39之后 | 约3060万线终端失去4G信号，自动回退3G，3G网信令与业务双拥塞 | | 14:00前后 | 软银与爱立信联合定位，确认为软件问题，决策：全部网元回退旧版本软件 | | 18:04 | 全部分组交换设备完成版本回退，服务恢复，历时4小时25分钟 | | 12-07 | 总务省要求提交报告；爱立信确认11个国家的运营商出现同类故障；英国O2数据业务仍在抢修 | | 12-27 | 软银依《电气通信事业法》第28条向总务省提交“重大事故报告书” | | 2019年1月中旬 | 总务省“电气通信事故检证会议”审议；此后软银受到警告及书面行政指导 | ```text timeline title 软银2018-12-06断网时间线（JST） 2018年3月前后 : 故障版本部署，内嵌证书写入全网 12月6日 13:39 : 东京/大阪全部SGSN-MME软件故障 : LTE核心网瘫痪 13:40~14:00 : 3060万线终端回退3G : 3G网全网拥塞 14:00~18:04 : 逐台回退旧版本软件 : 分批恢复 18:04 : 全网恢复正常 : 历时4小时25分 12月27日 : 提交重大事故报告书 2019年1月 : 总务省事故检证会议 : 警告与书面行政指导 ``` ## 三、根因深挖：证书如何变成全网“自杀开关” 这件事最反直觉的地方在于：放倒一个国家移动网络的，不是火灾、不是光缆被挖断、不是DDoS，而是一张**到期没续的证书**。但如果你在核心网干过，就会明白这不是偶发，而是架构层面的必然。 **第一层：SGSN-MME是什么位置。** SGSN-MME是爱立信的4G/3G双模分组核心网元，负责终端的附着、鉴权、承载建立、寻呼、切换——LTE上所有业务的第一跳控制面。MME不工作，手机就连不上4G，表现就是信号格有、网络无。这是典型的“控制面单点、用户面全灭”。 **第二层：为什么是“全部”设备同时倒。** 软银公告的原话是“东京中心和大阪中心安装的**全部**爱立信制造分组交换设备”出现软件故障。注意，东京和大阪两地资源池本是地理冗余设计——防的是机房断电、火灾、地震这类独立故障。但这一次，两地跑的是**同一个软件版本、同一张证书**。证书到期校验是软件自身的行为，与部署位置无关，于是地理冗余在共模失效（common-mode failure）面前形同虚设。这是本案例最值得写进教材的一课：**冗余防得住随机故障，防不住系统性故障；两地三中心的拓扑冗余，挡不住“同一张盘装出来的软件”。** **第三层：证书过期为什么等于停服。** 现代电信软件大量使用代码签名证书、许可证证书、节点间TLS证书，软件启动或运行周期校验失败时，按fail-stop设计直接拒绝服务——这在安全上是对的（宁可停服也不能裸奔），但在可用性上是把双刃剑：证书变成了一个埋在软件里的**定时开关**。这张证书随9个月前的软件升级写入全网，到期日不但在运营商的告警系统里没有台账，很可能连设备商自己的交付流程里都没有到期监控。爆炸窗口以“月”为单位，任何一次例行巡检都撞不见它。 **第四层：3G回退为什么救不了场。** 终端发现4G不可用后会自动重选到3G（W-CDMA），这是标准的互操作设计。但3G网的容量、信令处理能力是按“4G的补充”规划的，3000万线终端同时涌入，_attach_信令风暴加数据流量直接把3G SGSN和无线侧打满，形成二次拥塞。语音侧更尴尬：VoLTE（IMS over LTE）依赖EPC，EPC一倒VoLTE全灭，终端回落3G电路域打电话，又撞上拥塞的墙。据共同社等媒体报道，事故期间部分110/119紧急呼叫受到影响——这也是日本监管事后重点追问的方向。 ```mermaid flowchart TD A["约9个月前: SGSN-MME软件升级
内嵌安全证书随版本写入全网"] --> B["2018-12-06 13:39
证书到期, 软件校验失败停服"] B --> C["共模失效: 东京/大阪两地资源池
同一版本+同一证书, 地理冗余失效"] C --> D["3060万线终端失联
LTE数据/VoLTE中断"] C --> E["终端自动回退3G"] E --> F["3G容量远小于4G
信令风暴+拥塞, 业务二次劣化"] D --> G["恢复动作: 全部网元回退旧版本软件"] F --> G G --> H["18:04全网恢复
历时4小时25分"] ``` ## 四、11国同震：英国那边还有一面镜子 软银公告里有一句常被忽略的话：爱立信报告称，“由同一软件引起的故障也同时发生在安装了同款爱立信设备的其他10个国家的运营商网络中”——合计11国。 英国是受影响最重的第二现场。O2（用户规模约2500万）从6日中午起移动数据业务大面积中断，giffgaff、Tesco Mobile、Sky Mobile等O2系虚拟运营商一同遭殃；伦敦交通局（TfL）公交站台的到站时间显示屏用的正是O2的SIM卡，一度集体“离线”。爱立信CEO Börje Ekholm随后公开道歉，并确认根因是**过期证书**。据ZDNet报道，软银当天傍晚即全面恢复，而O2的3G/4G数据业务恢复一直拖到12月7日——同一根因，两家运营商的恢复速度差了整整一个晚上，差异就在回退预案的成熟度和执行效率上。 ## 五、追责与处置：日本“重大事故”制度的教科书样本 日本对这类事故有一套量化到残酷程度的认定制度。依据《电气通信事业法》施行规则第58条，“重大事故”的门槛是时间×用户数的矩阵（总务省原文）： | 电信业务类别 | 故障时长 | 受影响用户数 | |---|---|---| | 承载110/119紧急通报的语音业务 | ≥1小时 | ≥3万 | | 不承载紧急通报的语音业务 | ≥2小时 / ≥1小时 | ≥3万 / ≥10万 | | 免费的互联网关联服务 | ≥24小时 / ≥12小时 | ≥10万 / ≥100万 | | 其他电信业务 | ≥2小时 / ≥1小时 | ≥3万 / ≥100万 | 软银这次：4小时25分钟 × 3060万线，每一条都远超门槛，属于必须依《电气通信事业法》第28条向总务大臣报告的“重大事故”。12月27日总务省正式受理事故报告书，2019年1月中旬召开“电气通信事故检证会议”专项审议。据行业媒体后来的梳理，总务省最终对软银作出警告并给予书面行政指导，软银公开的整改方向包括：版本回退流程、设备台账盘点、恢复程序修订和多厂商策略。另据当时媒体报道，软银后续还向符合条件用户提供了话费减免（据报道约为每线200日元量级），以替代日本业界传统上少见的现金赔付。 对比一下监管节奏：从故障发生到正式报告17天，到专项检证会议约40天——而2022年KDDI断网事故后，日本进一步把重大事故报告细则和用户补偿指引加码。**软银这4小时25分钟，实际上为日本后来的运营商监管框架付了学费。** ## 六、给运维人的六条教训（可直接抄走） 八年过去，这个案例的每一条教训都没有过时，反而在5G SA时代变得更锋利——因为SBI接口全面TLS/mTLS化之后，全网证书数量比2018年放大了两个数量级。 **1. 把证书当配置数据管，而不是当“设备商的事”。** 建立全网证书台账（含设备商内嵌证书、license有效期），纳入CMDB；到期前90/60/30天三级告警。2018年没有运营商做这件事，2026年还没做的，就是在赌下一次“12月6日”。 **2. 识别“时间触发型”故障这个物种。** 故障按触发方式分三类：随机硬件故障（冗余有效）、操作触发故障（变更管理可防）、时间触发故障（证书/license/定时器溢出/闰秒）。第三类潜伏期以月计，最难防，唯一的解法是台账+自动化巡检。今天完全可以写一个每天扫全网证书到期时间的脚本，甚至交给AIOps平台做例行巡航——成本几乎为零，性价比是所有容灾投入里最高的。 **3. 警惕“完美冗余”下的共模失效。** 东京/大阪双资源池挡不住同一张证书。审视你的网络：两地三中心跑的是不是同一个版本？灰度策略能不能做到“错版本、错时间窗、错批次”？版本升级要保留至少一个异构或异版本存活域，哪怕它平时只是个“活化石”。 **4. 回退预案必须演练到能盲打。** 软银4小时25分钟恢复，靠的是“整体回退旧版本”这条正确决策的快速执行；O2拖到第二天，差的就是预案成熟度。回退演练要回答三个问题：旧版本安装包和license还在不在？全网回退顺序（先恢复控制面还是先分流）谁拍板？回退后的数据兼容性谁验证过？ **5. 把3G/4G（如今是4G/5G）回退容量当应急预案做，而不是当默认行为信。** 终端自动回退不等于可用，容量差一个数量级的回退就是拥塞。预案里要有回退期间的限流、信令抑制、紧急呼叫优先策略，并定期压测。 **6. 合同里写清楚证书责任条款。** 2018年时，几乎没有任何一份运营商-设备商合同约定“设备内嵌证书到期由谁监控、谁续期、到期导致停服算不算SLA违约”。软银当天就把责任指向爱立信，但追责代替不了预防。新采购合同里，“证书与license生命周期管理义务”必须成为标准条款。 ## 七、同类“定时炸弹”事故横向对比 把近年几起标志性大故障按触发方式排列，规律一目了然： | 事件 | 时间 | 根因类型 | 触发方式 | 影响规模 | 恢复历时 | |---|---|---|---|---|---| | 日本软银 | 2018-12 | 软件内嵌证书过期 | 时间触发（潜伏9个月） | 约3060万线 | 4小时25分 | | 英国O2 | 2018-12 | 同一软件、同一根因 | 同上 | 约2500万+O2系虚拟运营商 | 数据业务拖至次日 | | 日本KDDI | 2022-07 | 维护操作故障+语音网容量阈值 | 维护触发 | 约3900万线 | 核心故障约61小时 | | 加拿大Rogers | 2022-07 | 误删BGP过滤配置 | 操作触发 | 约1200万用户 | 约19小时 | 三 种触发方式，三个完全不同的防御体系：操作触发靠变更管理和灰度，随机故障靠冗余，**时间触发靠台账和到期监控**——而第三种恰恰是绝大多数运营商没有专门体系去管的盲区。软银案例的价值，就是把这个盲区用3060万用户的代价标了个价。 ## 结语 证书过期，听起来像新手错误，但它发生在全球顶级设备商和顶级运营商身上，发生在双中心冗余、流程完备的日本电信业。这提醒我们：**系统的可靠性上限，往往不取决于最贵的冗余架构，而取决于最不起眼的一行有效期字段。** 八年后的今天，5G SA核心网上成百上千张mTLS证书、NFV层密钥、eSIM凭证每天在网元间流转——2018年12月6日13:39那张过期的证书，值得每一个通信运维人设为日历提醒。检查一下你网络的证书台账，就从今天开始。 ## 参考来源 1. [Apology for Mobile Communication Service Troubles — SoftBank官方公告](https://www.softbank.jp/en/corp/news/press/sbkk/2018/20181206_02/) — 故障时段、受影响业务、根因与回退措施的一手表述 2. [ソフトバンク株式会社から提出された重大な事故報告書の受領 — 日本总务省](https://www.soumu.go.jp/menu_news/s-news/01kiban05_02000169.html) — 3060万线认定、重大事故报告制度与施行规则第58条门槛表 3. [Ericsson: Expired certificate caused O2 and SoftBank outages — ZDNet](https://www.zdnet.com/article/ericsson-expired-certificate-caused-o2-and-softbank-outages/) — 爱立信确认根因为过期证书及O2恢复进度 4. [Ericsson apologises for software fault that brought down cellular networks — TelecomTV](https://www.telecomtv.com/content/analysis/ericsson-apologises-for-software-fault-that-brought-down-cellular-networks-33522/) — SGSN-MME设备定位、11国受影响、爱立信道歉 5. [Gov't to demand SoftBank explain cell service outage — 每日新闻](https://mainichi.jp/english/articles/20181207/p2a/00m/0na/016000c) — 总务省要求提交报告与再发防止计划 6. [Ericsson made an expired mobile-core certificate a cross-border accountability story — btw.media](https://btw.media/en/ericsson-mobile-core-certificate-expiry-accountability) — 行政指导结果与软银整改措施梳理 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。