# docomo瘫网29小时复盘：一场本可控制的雪崩 > 摘要：2021年10月14日凌晨0时30分前后，日本最大移动运营商NTT docomo发生全国性通信障害，语音与数据大面积中断，历时约29小时才全面恢复，峰值影响约1295万用户。直接诱因只是一台信号控制设备的硬件故障——真正把它放大成全国事故的，是「主备切换软件缺陷」加「恢复期位置登记信令风暴」的组合拳。本文按时间线完整复盘这一案例：故障如何传导、处置为何艰难、监管如何介入，以及给核心网与无线运维同行的五条可以直接落地的经验。 ## 一、事故速览：29小时时间线 | 时间（日本时间） | 事件节点 | |---|---| | 10月14日 0时30分前后 | 承载语音与注册信令的信号控制设备发生硬件故障，主备切换失败，全国语音、数据大面积中断 | | 10月14日 清晨 | 官方通告确认全国性障害，社交平台与媒体开始发酵，大量用户无法拨打110、119 | | 10月14日 白天 | 首轮恢复尝试受挫：设备重启后引发终端位置登记洪峰，恢复中的设备再度过载宕机 | | 10月14日 夜间 | 调整策略，改为小批量、分区域错峰重启，语音业务逐步接通 | | 10月15日 清晨 | 宣布全面恢复，前后历时约29小时，期间高管公开鞠躬道歉 | | 其后数周 | 向监管提交原因报告与再发防止对策，总务省实施行政指导 | 先给一个体感参照：这不是「网速变慢」，而是最彻底的那种瘫——手机左上角没有信号格，电话打不出去，紧急电话也难接通。而且受影响的不止 docomo 自家约8300万合同用户，租用 docomo 网络的一大票 MVNO（虚拟运营商）用户同步掉线，波及面进一步放大。 ## 二、那一夜发生了什么 2021年10月14日是周四。凌晨0点30分前后，docomo 网内一处承担信令处理的关键设备出现硬件故障。按照教科书式的剧本，接下来应该是：流量自动切换到备用设备，用户几乎无感。 但现实剧本是：切换动作本身触发了软件缺陷，备用设备同样无法正常接管。信令面直接瘫痪——对移动网络来说，这意味着手机既做不了位置登记，也完成不了呼叫建立，全国范围内大面积脱网。 故障发生在大阪G20峰会与东京奥运之后的日本，公众对「通信基础设施韧性」的神经本来就绷得很紧。当天早上，Japanese Twitter 上「ドコモ 通信障害」冲上热搜，银行ATM、打车、外卖、远程会议、依赖蜂窝回传的监控与抄表设备纷纷告急。这一次事故最刺眼的社会影响是：**多地出现紧急电话（110/119）难以接通的情况**——这一点后来成为监管追问的核心。 ## 三、根因：三脚踢垮一头大象 用核心网工程师的视角拆，这场事故是典型的「单点故障被三级放大」： **第一脚：硬件故障（正常损耗）。** 任何一张几千万用户级的网络，硬件故障天天有。单独看这一脚，根本掀不起全国性风浪。 **第二脚：主备切换缺陷（冗余失效）。** 冗余设计的价值从来不是「有备份」，而是「备份切得过去」。主用设备故障触发倒换时，切换路径上潜伏的软件缺陷一起爆，导致主备全灭。这是运维界最痛的那种失败——你为故障准备了 Plan B，结果 Plan B 的启动动作本身就是故障触发器。事后日本业界复盘反复强调这一点：**倒换路径是全网演练覆盖率最低、却是最致命的路径**。 **第三脚：恢复期信令风暴（雪崩）。** 这是本案最值得所有运维写进预案的部分。设备重启、网络开始恢复的瞬间，数百万台终端同时发起位置登记与重附着请求——这个洪峰远超信令面设备的处理能力，于是刚恢复的设备再次过载宕机；设备一宕，终端又集体重试……如此循环。雪崩的传导链如下图： ```mermaid flowchart TD A["信号控制设备硬件故障"] --> B["触发主备倒换"] B --> C["倒换软件缺陷，备用设备无法接管"] C --> D["信令面瘫痪，全国大面积脱网"] D --> E["重启设备开始恢复"] E --> F["数百万终端同时发起位置登记与重附着"] F --> G["信令洪峰远超处理能力"] G --> H["恢复中的设备再次过载宕机"] H --> E D --> I["紧急电话、ATM、物联网业务受累"] H --> J["调整策略：分区分批小步恢复"] J --> K["错峰消化登记洪峰，负荷逐步收敛"] K --> L["10月15日清晨全面恢复"] ``` 很多老网优都会有一个直觉误区：「凌晨话务低谷，重启最安全」。这个案例恰恰证明：**恢复期洪峰的规模与当时的话务量无关，只与脱网终端的基数有关**。凌晨0点30分故障、上午恢复，白天在线终端基数反而更大，信令风暴来得更猛。 ## 四、影响面评估：1295万人之外的真实代价 docomo 公布的口径是峰值约1295万用户受影响，占其合同基数的约15%。但真实代价要看生态面： - **应急通信**：110/119 接通困难是最严重的问题，直接触达监管红线； - **金融服务**：部分银行 ATM 与手机支付依赖移动数据，交易中断； - **物流配送**：配送调度与骑手端 App 卡死，当日报量明显下滑； - **企业物联**：抄表、监控、车载、POS 等基于蜂窝的终端批量掉线，其中不少设备不具备自动重连退避能力，恢复后反而加重登记洪峰； - **产业连锁**：租用 docomo 无线接入的 MVNO 用户全量受累，事后各家 MVNO 纷纷向 docomo 追问原因与赔偿。 把最近几年几起标杆级运营商断网案放在一起看，共性触目惊心： | 事件 | 时间 | 持续时长 | 峰值影响 | 直接诱因 | |---|---|---|---|---| | NTT docomo 全国障害 | 2021年10月 | 约29小时 | 约1295万 | 信号控制设备硬件故障+倒换缺陷+恢复信令风暴 | | Rogers 全国断网 | 2022年7月 | 约26小时 | 约1250万 | 核心路由器维护操作失误，路由大面积丢失 | | KDDI 全国障害 | 2022年7月 | 首轮恢复约61小时 | 约4000万级 | 交换机维护中的路由配置失误引发连锁拥塞 | | Optus 全国断网 | 2023年11月 | 约13小时 | 约1000万级 | 路由器例行软件升级后设备失联 | 四起事故，三家国家的头部运营商，全是「维护/故障处置动作」亲手点燃的，没有一起是纯粹的意外天灾。这是本文最想传递的判断：**大网最危险的时刻，不是故障发生时，而是网络状态变化时——倒换是变化，重启是变化，恢复也是变化。** ## 五、处置：小步慢走，错峰消化 docomo 最终爬出泥潭的办法说穿了很朴素：放弃「一口气全恢复」，改成分区域、小批量重启，让每一波位置登记洪峰都控制在设备的剩余处理能力之内，逐波消化、逐步收敛。 这里必须展开讲讲 3GPP 其实早就给运营商备好的工具箱，因为事后总务省对日本四家 MNO 的联合检查显示，**拥塞控制机制的配置充分性普遍不足**： 1. **接入级控制**：GSM 时代的接入等级限制（ACB）、LTE 的扩展接入限制（EAB），以及 5G 的统一接入控制（按 RRC 建立原因配置准入因子），可以在空口把低优先级请求挡在门外，保住信令面； 2. **NAS 级控制**：TS 24.301 定义的拥塞控制与退避计时器（含 extended wait time），让网络主动告诉终端「请 XX 分钟后再来」，把指数重试削成线性； 3. **核心网级控制**：位置登记/更新的速率整形、HSS 查库限流、信令链路的负荷分担与过载保护。 问题在于：这些机制默认往往只按「节假日基站过载」的场景配置，而**故障恢复场景需要完全不同的预案参数**——哪些区域先放行、放行多少、话音与紧急呼叫如何绝对优先，都得提前写进恢复剧本并演练。标准允许多种实现，具体配置行为以各厂家官方文档为准，但「恢复剧本里有没有这些东西」，是可以立刻自查的。 ## 六、整改与监管：一次事故，改了一部法律 事故后 docomo 公布的再发防止对策集中在四个方向：信令设备冗余结构的分散化改造、自动负荷抑制机制的强化、恢复操作规程的修订（明确分批恢复与确认节点）、以及覆盖倒换路径的故障演练常态化。 监管层面的动作更值得记录。总务省在事发后迅速启动行政指导，要求提交原因报告，并对全国 MNO 的拥塞控制与冗余设计做了联合检查——这份检查结论后来几乎逐字应验：2022年7月 KDDI 以几乎同款剧本（维护动作触发连锁拥塞）瘫了61小时。2022年8月总务省对 KDDI 实施了日本通信史上罕见的严厉行政处分，随后日本推动修订《电气通信事业法》，引入**大规模通信障害的强制报告义务与罚则**。docomo 这29小时，等于替全行业交了第一笔学费。 ## 七、给运维同行的五条硬经验 1. **冗余要演练到「备份真的能接管」**。主备倒换路径是全网演练覆盖率最低的路径，没有之一。倒换演练不能只验「切换动作完成」，要验业务连续性——倒换动作本身可能就是故障触发器。 2. **把恢复预案当成产品来设计**。恢复不是「把设备拉起来」，是一个有节流、有熔断、有灰度的发布过程：分区分批、限速放行、逐波确认。恢复剧本要和割接方案同等级别地评审。 3. **拥塞控制不是可选项，要常态化配置**。ACB/EAB/统一接入控制、NAS 退避、核心网限流，三道闸门都要在现网配置并定期注入演练流量验证有效性，而不是躺在参数库里。 4. **给凌晨的 NOC 一线授权**。本案故障发生在0点30分，如果一线没有快速拉起应急指挥、快速升级决策链的授权，黄金处置时间会耗在逐级汇报上。应急指挥权下沉，是大网韧性的隐藏参数。 5. **永远假设故障发生在最坏时刻**。凌晨低话务时段≠安全时段；恢复洪峰只与脱网终端基数有关。预案要回答的问题不是「什么时候重启风险最低」，而是「重启时谁来挡住几百万台手机的疯狂重试」。 ## 结语 docomo 这场29小时的全国瘫，没有黑客、没有天灾、没有惊天的外部攻击，只是「一次硬件故障+一个切换缺陷+一场恢复风暴」。这也正是它对行业最残忍的提醒：把几十年的冗余投资瞬间清零的，可能只是恢复剧本上少写了一行「分批」二字。断网复盘的价值从来不在于知道谁错了，而在于下一张网、下一个值班夜，我们能不能把「本可控制」四个字真正焊进预案里。 ## 参考来源 1. [NTTドコモ「通信障害に関するお知らせ」](https://www.nttdocomo.co.jp/info/notice/) — docomo 官方障害通告、原因说明与再发防止对策公告入口 3. [総務省 報道発表](https://www.soumu.go.jp/menu_news/s-news/) — 总务省对大规模通信障害的行政指导、MNO联合检查结论与电气通信事业法修订相关发布 4. [ITmedia NEWS](https://www.itmedia.co.jp/news/) — 事发当时的连续追踪报道（含约29小时全面复旧的经过与记者会内容） 5. [C114通信网](https://www.c114.com.cn/) — 国内行业媒体对本次日本大规模断网事件的编译报道 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。