2021年10月12日13时10分起,日本第一大运营商NTT docomo发生全国性语音瘫痪:8500万用户打不出、接不进电话,而数据上网一切正常。更严重的是,故障像瘟疫一样跨网传导——au、SoftBank、乐天移动三家运营商的语音网随后也大面积失效,四张网同时静音约6小时,110/119紧急电话一度打不通。本文以日本总务省(MIC)检讨会公布的调查结论为主轴,复盘这起“一家割接、全国买单”的连环故障:缺陷信号如何被同构网络放大成共因故障,又如何以信令洪水的方式淹了对端三家,以及它给割接工程师留下的五条军规。
2021年10月12日是星期二。13时10分刚过,docomo的用户开始发现一件怪事:手机信号满格,网页秒开,视频照刷——就是电话打不出去,别人也打不进来。社交媒体上,投诉从东京、大阪迅速蔓延到冲绳,几乎覆盖日本全部47个都道府县。
对通信人来说,这个现象组合其实非常好认:数据通、语音断,八成是VoLTE语音专网的问题。LTE网络里,上网走默认承载这条“公路”,而VoLTE语音要走IMS专属承载、经语音网关落地,是一条独立的“专线”。专线闸门坏了,公路照样跑——所以用户看到的是“满格却打不通”,而不是“没信号”。
如果只是docomo一家的问题,这不过是一次大型单运营商故障。但当天下午,事情开始变味:au(KDDI)、SoftBank、乐天移动的用户也陆续打不出电话。打docomo打不通可以理解,可打给自家号码也开始失败——三大运营商的用户这才意识到,这不是某一家“掉线”,而是全国语音网在连环崩塌。
更麻烦的是紧急呼叫。多地警方和消防部门报告110、119接听困难,有人报警无门的事件被媒体逐条挖出,事故性质从“服务中断”迅速升级为“公共安全事件”。直到19时30分前后,各网语音才陆续恢复,全程约6小时。这6小时里,日本社会被迫做了一次大规模的“语音路由实验”——大量用户涌向LINE通话和视频,OTT语音流量肉眼可见地暴涨。
本文的根因分析主轴,来自日本总务省(MIC)在事发后组织的故障检讨会及其公布的调查总结(総務省官网:www.soumu.go.jp,可站内检索“令和3年12月 通信障害 検討会”直达新闻稿与资料)。结合docomo及另外三家运营商提交的故障报告,整条故障链可以拆成三段。
故障源头是docomo当天在东京某机房进行的一次常规施工:对VoLTE语音网关进行更新换代,将新机型接入现网。这是核心网运维的家常便饭,docomo当年每年要完成大量类似施工。
坏就坏在新机型上电接入后,向网内其他VoLTE网关发出了异常的控制信号。一枚本不该出现的信令,进入了生产网。
这枚坏信号为什么能放倒全国?因为docomo的VoLTE网关是全国一套体系:同款软件、同样的配置、集中式的控制架构。坏信号一经注入,全国各地网关“齐步走”地拒绝处理呼叫——东京机房里的一枚信令,几分钟内让北海道的网关和九州网关一起躺平。
这是教科书级的共因故障(common-mode failure):所有设备共享同一套“大脑”,标准化带来了运维效率上的巨大红利,也把爆炸半径从“一个机房”拉到“一个国家”。平时它是优点——一次升级全网受益;出事时它是死穴——一处缺陷全网陪葬。docomo并非没有容灾,多套网关互为备份,但备份的意义建立在“故障相互独立”之上;当故障来自同源的坏信号,八套备份和一套没有区别。
flowchart TD
A["割接:新VoLTE网关上线"] --> B["新机型发出缺陷信号"]
B --> C["全国网关同软件同配置"]
C --> D["docomo全网语音瘫痪"]
D --> E["重试信令堆积成洪水"]
E --> F["他社关口交换机过载"]
F --> G["四张语音网连环静音"]
如果故事到此为止,受害的只有docomo的8500万用户。真正让事件升级为全国事故的,是第二级放大机制。
docomo全网语音瘫痪后,海量呼叫尝试失败,终端的重呼、网关之间的取消与释放信令交织成一场持续数小时的信令洪水,沿着互联互通的关口涌向KDDI、SoftBank、乐天移动的网络。按检讨会的结论,他社交换机的呼叫控制进程缺乏足够的过载防护,个别关键进程被洪水“淹死”,整台交换机的呼叫处理能力随之崩塌——于是他社用户连与docomo完全无关的呼叫也开始失败。
换句话说,docomo的病,是通过三家运营商防御体系里最薄的那块板,传染给了他们。三家运营商自身网络内部可以做到多级冗余,但对“互联对端突然发疯”这种场景,当时的过载控制(呼叫间隔、信令限流、进程隔离)明显准备不足。这枚炸弹的引信在docomo机房,但炸药有一半埋在每家运营商自己的关口局里。
docomo是日本第一大移动运营商,约8500万合同用户,加上波及的au、SoftBank、乐天,事故的影响面几乎等于全日本的移动语音用户。据检讨会汇总、媒体广泛报道的口径,当天四家运营商未能接通的呼叫累计约1.5亿次。医院、企业呼叫中心、金融和物流等依赖语音催派的行业当天下午普遍受到冲击。
最致命的伤害在紧急呼叫:多地110、119接听困难,部分急救派车延迟。语音网瘫痪6小时,对普通人只是不便,对等待救护车的人可能就是生死。这也是为什么这起事故在日本的定级远高于一般网络故障,直接触发了监管层面的全面检讨。
雪上加霜的是,仅仅两天后的10月14日晚间,docomo语音网再度发生小规模故障,部分用户约两小时打不了电话。规模远小于12日,但公众信任已被击穿,舆论二次引爆。docomo随后宣布向全体用户每号减免200日元话费,按其合同规模估算,总额约170亿日元(金额与口径据当时媒体报道)——作为对比,次年KDDI“61小时断网”的赔偿约88亿日元,规模只有这次的一半。
| 项目 | 情况 |
|---|---|
| 事发时间 | 2021-10-12 约13:10(约6小时后恢复) |
| 影响范围 | docomo全国语音中断,au/SoftBank/乐天连锁失效 |
| 波及用户 | docomo约8500万合同,四家合计近乎全国移动用户 |
| 未能接通呼叫 | 累计约1.5亿次(检讨会材料/媒体报道口径) |
| 紧急呼叫 | 110/119多地接通困难,公共安全事件 |
| 直接根因 | 割接新机型缺陷信号→全国网关共因故障→信令洪水跨网传导 |
| 二次故障 | 10月14日晚再发约2小时小规模语音故障 |
| 赔偿 | 每号减免200日元,总额约170亿日元(媒体报道口径) |
事发当天,总务省即要求四家运营商说明情况。随后,总务省组织学者与行业专家成立故障检讨会,调取四家运营商的详细故障报告,于当年12月发布调查总结,并对docomo、KDDI、SoftBank、乐天移动四家同时实施行政指导。
对docomo,指导聚焦三点:变更管理(新设备接入现网前的验证不充分,缺陷信号没有被拦截在实验环境)、网络架构(缺乏隔离与灰度机制,坏信号可全网畅行)、对外沟通(故障公告与恢复进度播报迟缓,被舆论点名)。对其他三家,指导聚焦互联方向的过载保护与异常检测能力——自己的网要防得住“邻居发疯”。
这次事故和2022年KDDI断网事故,共同推动了日本在随后修订《电气通信事业法》:将“基干电信运营商”的网络安全与可靠性义务写入法律,违规可处罚款。故障复盘从“行业内部整改”变成了“法定义务”——一次割接的学费,最终由整个行业的监管框架来消化。
把docomo这次事故放进近年的大断网序列里看,规律非常刺眼:
| 事件 | 时间 | 时长 | 根因概要 | 波及特点 |
|---|---|---|---|---|
| docomo全国语音瘫痪 | 2021-10-12 | 约6小时 | 割接缺陷信号+共因故障+信令洪水 | 一家施工,四网连锁 |
| SoftBank大断网 | 2018-07-04 | 约4小时 | 核心网设备故障引发软件异常连锁 | 超3000万用户语音数据全断 |
| KDDI断网 | 2022-07-02 | 约61小时 | 设备故障后话务激增,供应控制失效 | 约4000万用户,语音为主 |
| AT&T大断网 | 2024-02-22 | 约半天内恢复 | 网络扩容中的操作流程错误 | 语音短信中断,数据正常 |
四个案子摆在一起,共性问题至少有四个:
以18年核心网运维的视角,这起事故值得沉淀成五条可执行的军规:
第一,把每次变更当炸弹对待。 新设备、新软件接入现网前,必须在镜像环境完成故障注入验证——不是验证“正常流量跑得通”,而是验证“坏信号跑不出去”。缺陷信令的边界测试(异常IE、非法取值、超长报文)应当是割接准入的硬门槛,而不是可选项。
第二,灰度上线,保留隔离组。 全国一套软件等于全国一起死。割接应按大区分批推进,首批业务量压到最低,观察窗口拉满再放量,并且始终保留一组未动过的“干净”网关可随时承接——前提是它运行着不同版本的软件,否则“干净”只是幻觉。
第三,把互联对端当不可靠系统设计。 对每一个互联方向配置信令整形与呼叫间隔控制(call gapping),超限即丢弃并告警,绝不让自己被对端的故障洪水淹死。互联测试不能只测“正常呼叫”,要专门演练“对端发疯”场景——这恰恰是当前跨运营商联合演练里最缺的一课。
第四,紧急呼叫必须有独立旁路。 110/119类紧急呼叫应在承载与路由上与普通语音隔离,主用路径故障时自动降级到备用路由。检讨会对这一点的着墨,值得每一家运营商对照自查。
第五,对外沟通按分钟计。 故障公告、恢复进度、影响口径、赔偿方案,发布速度本身就是运维能力的一部分。docomo当天迟缓的信息播报,让技术上6小时的故障在公众感知上被放大成“失联的下午”。
复盘这起事故,最令人后怕的不是那枚缺陷信号,而是它走过的每一步都“合规”:施工有计划、设备有测试、网络有冗余、互联有对通——但所有环节都只验证了“正常情况”,没有一个环节验证“异常情况”。于是四个各自看似健壮的系统,在一条真实的故障链上串成了多米诺骨牌。
网络的可靠性,从来不由最强的那次优化决定,而由最脆的那次割接决定。对每一位明天凌晨就要登上割接车的工程师来说,2021年10月12日的日本,就是最好的警钟:你敲下的那行指令,影响半径到底有多大——这个问题的答案,要在割接之前想清楚,而不是在1.5亿次未接通的呼叫之后。
注:文中时长、用户规模、赔偿金额等数字均来自当年官方材料与公开报道口径,个别数字(如赔偿总额)为媒体报道的估算值。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
