概述：2021年10月14日17时前后，日本最大的移动运营商NTT docomo发生全国性通信故障，通话与上网大面积中断，出租车电子支付、外卖接单、自动售货机集体“熄火”，一直持续到次日上午才基本恢复。最初公布的影响人数约200万，一个月后订正为830万人以上——相当于每十个docomo用户就有一个受波及。本文以《日本经济新闻》2021年10月15日报道《ドコモ200万人使えず 通信障害、異例の長期化》与共同通信2021年11月10日报道《ドコモ障害、830万人以上に影響》（经日文维基百科NTTドコモ条目转引核实）为事实主轴，从一名核心网运维工程师的视角复盘这场事故：触发点不是黑客、不是割接、也不是设备老化，而是一次再寻常不过的服务器切换作业中的回退操作。
2021年10月14日，星期四，傍晚。东京的晚高峰刚开始，上班族正掏出手机扫码进站、点外卖、打车回家。17时前后，docomo的网络开始大面积异常：电话打不出也接不进，数据连接时断时续，社交媒体上“docomo繋がらない”（docomo连不上）迅速冲上日本推特热搜。
真正让社会感到疼的，不是普通人发不出消息，而是那些没人注意过、却无处不在的联网设备：
《日本经济新闻》次日以《ドコモ200万人使えず 通信障害、異例の長期化》为题报道了这起事故——“異例の長期化”，罕见地拖了很久。对一家以网络质量著称、常年霸榜日本通信满意度调查的运营商来说，这两个词比“瘫痪”更刺眼。
docomo是什么体量？它是日本最大的移动运营商，合同数约8700万（据日本电气通信事业者协会统计口径，2023年3月末约8749万），市场份额约四成，是日本通信业的“老大哥”。老大哥的网络瘫了一个晚上，这在日本社会引发的震动，不亚于一次中等规模的自然灾害。
据当时日本媒体报道，几乎同一时段，才成立一年多的乐天移动也出现了通信故障。多家运营商在同一天先后出问题，让这场事故从“一家公司的窘迫”上升为“一国通信韧性”的公共议题——总务省随后介入，要求运营商提交详细报告。
这起事故最值得写进教科书的地方在于：设备没有坏，网络没有被打，它死于一次标准的运维动作。
根据docomo事后向总务省说明、由共同通信于2021年11月10日披露的调查结论：出事的不是交换机、不是基站，而是一台为法人客户管理IoT通信终端的服务器——它背后挂着的是出租车电子支付、自动售货机这类设备，数量以数十万计。
当天白天，运维团队对这台服务器做例行切换作业。作业过程中发现了异常。于是他们做了一个所有运维工程师都会做、事后想想却万劫不复的决定：回退，把业务切回旧服务器。
回退逻辑上无懈可击：新设备有问题，退回经过验证的旧设备，天经地义。问题出在“状态”上。
用一张图看清这条完整的故障链条：
flowchart TD
A["白天:法人IoT服务器<br/>例行切换作业"] --> B["切换中发现异常"]
B --> C["决定回退到旧服务器"]
C --> D["海量IoT终端<br/>同时发起重连"]
D --> E["信令风暴灌入控制面"]
E --> F["认证与位置更新过载"]
F --> G["普通手机无法完成接入"]
G --> H["通话与上网全面受阻"]
E --> I["会话建立受阻"]
I --> J["支付与配送业务中断"]
K["网管:紧急限流控场"] --> F
旧服务器上保存的是“过去时”的状态，而几十万台终端手里的会话状态是“现在时”。两边对不上账，终端的行为可以预测：当成网络丢了我，重新注册。于是这几十万台出租车终端、售货机模块在回退完成后的极短时间内同时扑向网络，发起注册、鉴权、位置更新——这正是回退操作最凶险的次生效应：切回旧系统，等于组织了一场全量重连演习。
这里要讲一点核心网的常识，也是本次事故在技术上最有普适性的教训。
手机上网、打电话，走的是两条完全不同的路：
一台手机打电话，先要在控制面完成一系列手续才能建立通话。控制面设备（比如负责用户签约与位置管理的HLR/HSS类网元）的处理能力是以“每秒信令条数”计的，它不是给“几十万设备同一秒涌入”设计的。
IoT终端恰恰是控制面最不友好的用户：它们不像智能手机有精细的重连退避机制，网络一恢复就立刻扑上来，失败的还不断重试，形成滚雪球式的信令风暴。控制面被灌满之后，遭殃的绝不止那些IoT设备——普通手机要打电话、要上网，同样要先过控制面这道公共走廊。走廊被卡车队堵死，所有小轿车都得趴窝。
这就是为什么一台“不起眼”的IoT管理服务器出了问题，最后表现为全国460万人打不出电话、830万人上不了网。这不是异常放大，而是控制面共享架构的必然结果：控制面是全网单点共享的稀缺资源，它的拥堵就是全网性故障。
需要说明的是，标准允许运营商和设备商在拥塞控制的实现细节上有多种做法，具体行为以各厂家官方文档为准；但“控制面过载会传导为全网故障”这一结构性风险，对任何一张蜂窝网络都成立。
这起事故在“影响评估”上给全行业上了一课——如何报告影响面，本身就是事故的一部分。
故障发生时，docomo对外公布的影响范围是全国约200万人。这个数字来自当时的初步评估。然而一个月后的11月10日，docomo向总务省提交详细说明时，把数字大幅订正：受影响用户830万人以上，其中语音通话受影响约460万人，数据通信受影响超过830万人（据共同通信2021年11月10日报道）。
从200万到830万，翻了四倍多。这不是docomo故意瞒报，而是大范围网络故障影响评估的真实困难：故障期间连话单和信令记录都不完整，事后要用计费数据、信令回放逐层还原，才能数清到底多少人“该通没通”。830万除以docomo约8500万的合同数，接近10%的用户在那几个小时里失联。
再把镜头拉到社会面上，这830万人失联的后果远超“打不了电话”：
| 受影响场景 | 具体表现 | 暴露的问题 |
|---|---|---|
| 出租车电子支付 | 终端离线，无法收款 | 移动支付对蜂窝网零冗余 |
| 自动售货机 | 无法联网结算与上报 | 分散式IoT数量庞大且无人盯守 |
| 外卖配送 | 门店收不到订单 | 平台业务建立在单一运营商假设上 |
| 个人通话 | 460万人打不出电话 | 语音呼叫同样依赖拥堵的控制面 |
| 紧急联络 | 用户求助无门 | 故障期间客服与官网同样拥堵 |
最扎心的是这张表揭示的一个倒挂：越是“无现金化”程度高的场景，对蜂窝网络的依赖越绝对。日本近年力推无现金社会，出租车、售货机、便利店恰恰是“不带钱包”理念的试验田——而试验田的底座，就是那张当天晚上躺平的蜂窝网。手机信号满格与否，在2021年的日本已经不只是通信问题，而是支付问题、出行问题、吃饭问题。
日本社会对此的反思也直接体现在监管层面：总务省在此后几年持续推动“通信障碍信息公开”和“网络韧性”议题，docomo多次重大故障被摆上台面。通信在现代社会已经从“公共服务”退到了“水电煤”级别的隐含前提——而它的可靠性承诺，是在每次这样的夜晚被重新定价的。
《日本经济新闻》标题里那句“異例の長期化”（罕见的长期化），点出了这起事故与docomo历次故障最大的不同：恢复花了远超常规的时间，故障一直拖到15日上午才基本平息。
为什么慢？从运维视角看，当晚的处置至少面临三重困难。
第一，根因不在“坏”，而在“堵”。 换一块坏板子、重启一套系统，运维团队轻车熟路，几分钟的事。但信令风暴是“流量病”——服务器本身没坏，是被请求洪峰压垮的。处理方式只能是限流、疏导、等待终端重试节奏回落，每一步都要在“放多少流量进来”之间走钢丝：放得太猛，服务器再次垮掉，前功尽弃；限得太狠，用户继续断网，社会不满持续发酵。
第二，影响面在全网上演“滚雪球”。 风暴期间，被拒绝的终端不会安静消失，它们会重试。重试流量和正常用户的业务流量在控制面里混在一起，难以区分、难以分级。处置方需要一边压总量，一边识别出必须保障的关键业务——这在缺乏精细化分级控制手段的现网，是真正的手艺活。
第三，信息发布跟不上事态发酵。 故障期间，用户打不通电话，转头发现官网、客服热线同样拥堵，官方社交媒体的声音迟迟跟不上传闻的速度。事后docomo在信息发布速度上也被舆论点名。对运营商来说，故障沟通不畅造成的信任损耗，往往比故障本身更持久。
回头看docomo的故障履历，这场夜不是孤例。日文维基百科NTTドコモ条目整理的三次大故障，放在一起看会发现问题在悄悄变质：
| 项目 | 2011年6月6日 | 2012年1月25日 | 2021年10月14日 |
|---|---|---|---|
| 范围 | 关东甲信越 | 东京都部分地区 | 全国 |
| 影响用户 | 最大约172万人 | 最大约252万人 | 830万人以上 |
| 持续时间 | 约13小时（当日21:36恢复） | 当日13:08恢复 | 至次日上午 |
| 根因类型 | 通信设备故障 | 呼叫量超出交换机处理能力 | 服务器回退引发信令风暴 |
| 故障性质 | 硬件可靠性问题 | 容量规划问题 | 运维操作次生灾害 |
十年间，故障的形态从“设备坏了”演变成“流量超了”，再到“正确的操作在错误的时机产生了错误的后果”。硬件会老化、容量可以扩，但操作风险藏在每一次变更单里——这是最难防的一类故障。
事故之后，docomo的整改沿着“防、兜、备”三条线展开。
先说“防”。 据当时日本媒体的公开报道，docomo提出的再发防止对策主要围绕三件事：一是服务器切换类作业的验证彻底化——切换前必须完成包括回退路径在内的完整演练，不能把回退当成“保底的手气”来赌；二是拥塞控制能力的强化——对突发信令洪峰要有自动化的分级限流，而不是靠人肉拧阀门；三是信息发布机制的改善——故障发生后第一时间通过官方渠道滚动通报，把“猜”的空间压到最小。这三条看着都是常识，但常识的执行成本，往往要一次830万人的事故才付得起。
再说“兜”。 这是docomo在商用策略层面最有意思的动作：2023年6月1日，docomo上线了副回线（デュアルSIM）服务——通信故障或灾害发生时，用户可以临时切换到竞争对手KDDI（au）的网络（据时事通信2023年5月9日报道《ドコモも「副回線サービス」 障害に備え、KDDI網利用》）。让用户在自己的手机里装一张对手的SIM当保险，这在卷了几十年的日本通信市场堪称标志性事件：运营商第一次承认，任何一张网都可能整张躺下，冗余的正确单位不是板卡，是网络。
耐人寻味的是这条兜底线的后续：据Impress 2026年3月报道，docomo已于2026年9月底终止面向个人的副回线服务（法人服务保留）。个人副回线退场的同时，docomo把宝押向了另一条路——2026年4月27日，基于Starlink的卫星直连手机服务「docomo Starlink Direct」正式商用（据读卖新闻2026年4月报道），iPhone 13之后的84款机型、约2200万合约用户可在地面网覆盖不到的地方直连卫星。兜底的逻辑从“另一张地面网”换成了“天上那张网”——五年的时间，运营商对“网络瘫痪”这个假设的回答方式，已经换了一代。
最后是“备”。 对行业而言，这起事故还有一个容易被忽略的推论：随着蜂窝网络承接到越来越多社会关键业务，运营商对故障的容错要求已经从“电信级”升级到了“社会基础设施级”。总务省此后持续强化对重大通信故障的报告与公开要求，日本三大运营商也都在近年推进网络多重化、自动化故障处置的投入。信号满格不再是运营商一家的KPI，而是一个现代社会运转的前提条件。
以一个在核心网和运维一线泡了十八年的视角，这场事故值得沉淀成四条可以带走的经验。
第一条：回退不是免费的，它是一场全量重连演习。 几乎所有运维团队的应急手册里都写着“异常则回退”，但很少有手册写清楚：回退的代价必须事先算过。凡是带状态的服务（注册状态、会话上下文、配置版本），回退意味着服务端与海量客户端的状态失配，随之而来的是重连洪峰。正确姿势是把“回退演练”作为切换作业的必做项：回退窗口选在业务低谷，回退前预估会触发重连的终端规模，回退中同步启动信令限流预案。变更单上没有回退预案的，就不该有变更。
第二条：控制面是公共走廊，别让任何一群用户把它站满。 IoT终端在用户面看起来人畜无害——一包数据几KB；但它们在控制面是重量级用户：注册、鉴权、位置更新一条不少，还缺乏智能终端的退避礼仪。规划一张网时，要把IoT的信令预算单独建模：几十万台终端的最坏重连周期会叠加出多大的每秒信令量？这个数字能不能被控制面吞下？答不上来的网络，就是在攒一场未发生的风暴。
第三条：影响面评估，宁可保守，不可拍脑袋。 从“约200万”到“830万以上”，docomo一个月内四倍订正影响人数，固然有事后用计费与信令数据精细还原的客观原因，但也暴露了故障初期评估机制的不成熟。对运营商而言，影响面数字是监管问责、用户补偿、舆情管理的共同锚点，第一天报小、一个月后改大，损耗的是比网络更难修复的东西——公信力。有信令追溯能力的网络，应当在故障进行时就能产出“受影响用户数”的实时估计，这也是AIOps在运营商落地最该先啃的一块骨头。
第四条：冗余救不了洪峰。 双重化、异地容灾，防的是“设备死”；信令风暴是“活着的设备集体发疯”，两台同样活着的设备会被同一道洪峰先后压垮。高可用的下一层不是冗余，而是过载保护——系统能够优雅地拒绝一部分请求、保住核心业务，比假装能接住所有请求重要得多。这个道理和电网里的熔断、操作系统里的过载保护一脉相承：工程师最大的成熟，是承认系统有接不住的时刻，并提前决定那一刻保谁弃谁。
2021年10月14日那个傍晚之后，日本街头那台默默工作的自动售货机，在通信业的故障案例库里有了自己的名字。它提醒每一个建网、维护网络的人：这张网的强度，不取决于最粗的那根管道，而取决于最不起眼的那台终端、最 routine 的那次切换、最自信的那次回退。网络没有奇迹，只有账单——所有欠下的谨慎，终将在某个傍晚五点，连本带利地还回来。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。