摘要：2021年10月14日凌晨0时30分前后，日本最大移动运营商NTT docomo发生全国性通信障害，语音与数据大面积中断，历时约29小时才全面恢复，峰值影响约1295万用户。直接诱因只是一台信号控制设备的硬件故障——真正把它放大成全国事故的，是「主备切换软件缺陷」加「恢复期位置登记信令风暴」的组合拳。本文按时间线完整复盘这一案例：故障如何传导、处置为何艰难、监管如何介入，以及给核心网与无线运维同行的五条可以直接落地的经验。
| 时间（日本时间） | 事件节点 |
|---|---|
| 10月14日 0时30分前后 | 承载语音与注册信令的信号控制设备发生硬件故障，主备切换失败，全国语音、数据大面积中断 |
| 10月14日 清晨 | 官方通告确认全国性障害，社交平台与媒体开始发酵，大量用户无法拨打110、119 |
| 10月14日 白天 | 首轮恢复尝试受挫：设备重启后引发终端位置登记洪峰，恢复中的设备再度过载宕机 |
| 10月14日 夜间 | 调整策略，改为小批量、分区域错峰重启，语音业务逐步接通 |
| 10月15日 清晨 | 宣布全面恢复，前后历时约29小时，期间高管公开鞠躬道歉 |
| 其后数周 | 向监管提交原因报告与再发防止对策，总务省实施行政指导 |
先给一个体感参照：这不是「网速变慢」，而是最彻底的那种瘫——手机左上角没有信号格，电话打不出去，紧急电话也难接通。而且受影响的不止 docomo 自家约8300万合同用户，租用 docomo 网络的一大票 MVNO（虚拟运营商）用户同步掉线，波及面进一步放大。
2021年10月14日是周四。凌晨0点30分前后，docomo 网内一处承担信令处理的关键设备出现硬件故障。按照教科书式的剧本，接下来应该是：流量自动切换到备用设备，用户几乎无感。
但现实剧本是：切换动作本身触发了软件缺陷，备用设备同样无法正常接管。信令面直接瘫痪——对移动网络来说，这意味着手机既做不了位置登记，也完成不了呼叫建立，全国范围内大面积脱网。
故障发生在大阪G20峰会与东京奥运之后的日本，公众对「通信基础设施韧性」的神经本来就绷得很紧。当天早上，Japanese Twitter 上「ドコモ 通信障害」冲上热搜，银行ATM、打车、外卖、远程会议、依赖蜂窝回传的监控与抄表设备纷纷告急。这一次事故最刺眼的社会影响是：多地出现紧急电话（110/119）难以接通的情况——这一点后来成为监管追问的核心。
用核心网工程师的视角拆，这场事故是典型的「单点故障被三级放大」：
第一脚：硬件故障（正常损耗）。 任何一张几千万用户级的网络，硬件故障天天有。单独看这一脚，根本掀不起全国性风浪。
第二脚：主备切换缺陷（冗余失效）。 冗余设计的价值从来不是「有备份」，而是「备份切得过去」。主用设备故障触发倒换时，切换路径上潜伏的软件缺陷一起爆，导致主备全灭。这是运维界最痛的那种失败——你为故障准备了 Plan B，结果 Plan B 的启动动作本身就是故障触发器。事后日本业界复盘反复强调这一点：倒换路径是全网演练覆盖率最低、却是最致命的路径。
第三脚：恢复期信令风暴（雪崩）。 这是本案最值得所有运维写进预案的部分。设备重启、网络开始恢复的瞬间，数百万台终端同时发起位置登记与重附着请求——这个洪峰远超信令面设备的处理能力，于是刚恢复的设备再次过载宕机；设备一宕，终端又集体重试……如此循环。雪崩的传导链如下图：
flowchart TD
A["信号控制设备硬件故障"] --> B["触发主备倒换"]
B --> C["倒换软件缺陷，备用设备无法接管"]
C --> D["信令面瘫痪，全国大面积脱网"]
D --> E["重启设备开始恢复"]
E --> F["数百万终端同时发起位置登记与重附着"]
F --> G["信令洪峰远超处理能力"]
G --> H["恢复中的设备再次过载宕机"]
H --> E
D --> I["紧急电话、ATM、物联网业务受累"]
H --> J["调整策略：分区分批小步恢复"]
J --> K["错峰消化登记洪峰，负荷逐步收敛"]
K --> L["10月15日清晨全面恢复"]
很多老网优都会有一个直觉误区：「凌晨话务低谷，重启最安全」。这个案例恰恰证明：恢复期洪峰的规模与当时的话务量无关，只与脱网终端的基数有关。凌晨0点30分故障、上午恢复，白天在线终端基数反而更大，信令风暴来得更猛。
docomo 公布的口径是峰值约1295万用户受影响，占其合同基数的约15%。但真实代价要看生态面：
把最近几年几起标杆级运营商断网案放在一起看，共性触目惊心：
| 事件 | 时间 | 持续时长 | 峰值影响 | 直接诱因 |
|---|---|---|---|---|
| NTT docomo 全国障害 | 2021年10月 | 约29小时 | 约1295万 | 信号控制设备硬件故障+倒换缺陷+恢复信令风暴 |
| Rogers 全国断网 | 2022年7月 | 约26小时 | 约1250万 | 核心路由器维护操作失误，路由大面积丢失 |
| KDDI 全国障害 | 2022年7月 | 首轮恢复约61小时 | 约4000万级 | 交换机维护中的路由配置失误引发连锁拥塞 |
| Optus 全国断网 | 2023年11月 | 约13小时 | 约1000万级 | 路由器例行软件升级后设备失联 |
四起事故，三家国家的头部运营商，全是「维护/故障处置动作」亲手点燃的，没有一起是纯粹的意外天灾。这是本文最想传递的判断：大网最危险的时刻，不是故障发生时，而是网络状态变化时——倒换是变化，重启是变化，恢复也是变化。
docomo 最终爬出泥潭的办法说穿了很朴素：放弃「一口气全恢复」，改成分区域、小批量重启，让每一波位置登记洪峰都控制在设备的剩余处理能力之内，逐波消化、逐步收敛。
这里必须展开讲讲 3GPP 其实早就给运营商备好的工具箱，因为事后总务省对日本四家 MNO 的联合检查显示，拥塞控制机制的配置充分性普遍不足：
问题在于：这些机制默认往往只按「节假日基站过载」的场景配置，而故障恢复场景需要完全不同的预案参数——哪些区域先放行、放行多少、话音与紧急呼叫如何绝对优先，都得提前写进恢复剧本并演练。标准允许多种实现，具体配置行为以各厂家官方文档为准，但「恢复剧本里有没有这些东西」，是可以立刻自查的。
事故后 docomo 公布的再发防止对策集中在四个方向：信令设备冗余结构的分散化改造、自动负荷抑制机制的强化、恢复操作规程的修订（明确分批恢复与确认节点）、以及覆盖倒换路径的故障演练常态化。
监管层面的动作更值得记录。总务省在事发后迅速启动行政指导，要求提交原因报告，并对全国 MNO 的拥塞控制与冗余设计做了联合检查——这份检查结论后来几乎逐字应验：2022年7月 KDDI 以几乎同款剧本（维护动作触发连锁拥塞）瘫了61小时。2022年8月总务省对 KDDI 实施了日本通信史上罕见的严厉行政处分，随后日本推动修订《电气通信事业法》，引入大规模通信障害的强制报告义务与罚则。docomo 这29小时，等于替全行业交了第一笔学费。
docomo 这场29小时的全国瘫，没有黑客、没有天灾、没有惊天的外部攻击，只是「一次硬件故障+一个切换缺陷+一场恢复风暴」。这也正是它对行业最残忍的提醒：把几十年的冗余投资瞬间清零的，可能只是恢复剧本上少写了一行「分批」二字。断网复盘的价值从来不在于知道谁错了，而在于下一张网、下一个值班夜，我们能不能把「本可控制」四个字真正焊进预案里。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。