首页 › tech › 一次割接,全日本打不出电话

一次割接,全日本打不出电话——2021年docomo全国语音瘫痪复盘

概述

2021年10月12日13时10分起,日本第一大运营商NTT docomo发生全国性语音瘫痪:8500万用户打不出、接不进电话,而数据上网一切正常。更严重的是,故障像瘟疫一样跨网传导——au、SoftBank、乐天移动三家运营商的语音网随后也大面积失效,四张网同时静音约6小时,110/119紧急电话一度打不通。本文以日本总务省(MIC)检讨会公布的调查结论为主轴,复盘这起“一家割接、全国买单”的连环故障:缺陷信号如何被同构网络放大成共因故障,又如何以信令洪水的方式淹了对端三家,以及它给割接工程师留下的五条军规。

目录


一、那个下午:满格信号,全国静音

2021年10月12日是星期二。13时10分刚过,docomo的用户开始发现一件怪事:手机信号满格,网页秒开,视频照刷——就是电话打不出去,别人也打不进来。社交媒体上,投诉从东京、大阪迅速蔓延到冲绳,几乎覆盖日本全部47个都道府县。

对通信人来说,这个现象组合其实非常好认:数据通、语音断,八成是VoLTE语音专网的问题。LTE网络里,上网走默认承载这条“公路”,而VoLTE语音要走IMS专属承载、经语音网关落地,是一条独立的“专线”。专线闸门坏了,公路照样跑——所以用户看到的是“满格却打不通”,而不是“没信号”。

如果只是docomo一家的问题,这不过是一次大型单运营商故障。但当天下午,事情开始变味:au(KDDI)、SoftBank、乐天移动的用户也陆续打不出电话。打docomo打不通可以理解,可打给自家号码也开始失败——三大运营商的用户这才意识到,这不是某一家“掉线”,而是全国语音网在连环崩塌。

更麻烦的是紧急呼叫。多地警方和消防部门报告110、119接听困难,有人报警无门的事件被媒体逐条挖出,事故性质从“服务中断”迅速升级为“公共安全事件”。直到19时30分前后,各网语音才陆续恢复,全程约6小时。这6小时里,日本社会被迫做了一次大规模的“语音路由实验”——大量用户涌向LINE通话和视频,OTT语音流量肉眼可见地暴涨。

二、根因:一次割接怎么烧穿四张网

本文的根因分析主轴,来自日本总务省(MIC)在事发后组织的故障检讨会及其公布的调查总结(総務省官网:www.soumu.go.jp,可站内检索“令和3年12月 通信障害 検討会”直达新闻稿与资料)。结合docomo及另外三家运营商提交的故障报告,整条故障链可以拆成三段。

2.1 起点是一次常规割接

故障源头是docomo当天在东京某机房进行的一次常规施工:对VoLTE语音网关进行更新换代,将新机型接入现网。这是核心网运维的家常便饭,docomo当年每年要完成大量类似施工。

坏就坏在新机型上电接入后,向网内其他VoLTE网关发出了异常的控制信号。一枚本不该出现的信令,进入了生产网。

2.2 第一级放大:同构网络的共因故障

这枚坏信号为什么能放倒全国?因为docomo的VoLTE网关是全国一套体系:同款软件、同样的配置、集中式的控制架构。坏信号一经注入,全国各地网关“齐步走”地拒绝处理呼叫——东京机房里的一枚信令,几分钟内让北海道的网关和九州网关一起躺平。

这是教科书级的共因故障(common-mode failure):所有设备共享同一套“大脑”,标准化带来了运维效率上的巨大红利,也把爆炸半径从“一个机房”拉到“一个国家”。平时它是优点——一次升级全网受益;出事时它是死穴——一处缺陷全网陪葬。docomo并非没有容灾,多套网关互为备份,但备份的意义建立在“故障相互独立”之上;当故障来自同源的坏信号,八套备份和一套没有区别。

flowchart TD
    A["割接:新VoLTE网关上线"] --> B["新机型发出缺陷信号"]
    B --> C["全国网关同软件同配置"]
    C --> D["docomo全网语音瘫痪"]
    D --> E["重试信令堆积成洪水"]
    E --> F["他社关口交换机过载"]
    F --> G["四张语音网连环静音"]

2.3 第二级放大:信令洪水跨网传导

如果故事到此为止,受害的只有docomo的8500万用户。真正让事件升级为全国事故的,是第二级放大机制。

docomo全网语音瘫痪后,海量呼叫尝试失败,终端的重呼、网关之间的取消与释放信令交织成一场持续数小时的信令洪水,沿着互联互通的关口涌向KDDI、SoftBank、乐天移动的网络。按检讨会的结论,他社交换机的呼叫控制进程缺乏足够的过载防护,个别关键进程被洪水“淹死”,整台交换机的呼叫处理能力随之崩塌——于是他社用户连与docomo完全无关的呼叫也开始失败。

换句话说,docomo的病,是通过三家运营商防御体系里最薄的那块板,传染给了他们。三家运营商自身网络内部可以做到多级冗余,但对“互联对端突然发疯”这种场景,当时的过载控制(呼叫间隔、信令限流、进程隔离)明显准备不足。这枚炸弹的引信在docomo机房,但炸药有一半埋在每家运营商自己的关口局里。

三、影响评估:不只是打不了电话

3.1 规模与直接损失

docomo是日本第一大移动运营商,约8500万合同用户,加上波及的au、SoftBank、乐天,事故的影响面几乎等于全日本的移动语音用户。据检讨会汇总、媒体广泛报道的口径,当天四家运营商未能接通的呼叫累计约1.5亿次。医院、企业呼叫中心、金融和物流等依赖语音催派的行业当天下午普遍受到冲击。

3.2 公共安全冲击

最致命的伤害在紧急呼叫:多地110、119接听困难,部分急救派车延迟。语音网瘫痪6小时,对普通人只是不便,对等待救护车的人可能就是生死。这也是为什么这起事故在日本的定级远高于一般网络故障,直接触发了监管层面的全面检讨。

3.3 二次故障与赔偿

雪上加霜的是,仅仅两天后的10月14日晚间,docomo语音网再度发生小规模故障,部分用户约两小时打不了电话。规模远小于12日,但公众信任已被击穿,舆论二次引爆。docomo随后宣布向全体用户每号减免200日元话费,按其合同规模估算,总额约170亿日元(金额与口径据当时媒体报道)——作为对比,次年KDDI“61小时断网”的赔偿约88亿日元,规模只有这次的一半。

项目 情况
事发时间 2021-10-12 约13:10(约6小时后恢复)
影响范围 docomo全国语音中断,au/SoftBank/乐天连锁失效
波及用户 docomo约8500万合同,四家合计近乎全国移动用户
未能接通呼叫 累计约1.5亿次(检讨会材料/媒体报道口径)
紧急呼叫 110/119多地接通困难,公共安全事件
直接根因 割接新机型缺陷信号→全国网关共因故障→信令洪水跨网传导
二次故障 10月14日晚再发约2小时小规模语音故障
赔偿 每号减免200日元,总额约170亿日元(媒体报道口径)

四、监管处置:总务省的检讨会与行政指导

事发当天,总务省即要求四家运营商说明情况。随后,总务省组织学者与行业专家成立故障检讨会,调取四家运营商的详细故障报告,于当年12月发布调查总结,并对docomo、KDDI、SoftBank、乐天移动四家同时实施行政指导。

对docomo,指导聚焦三点:变更管理(新设备接入现网前的验证不充分,缺陷信号没有被拦截在实验环境)、网络架构(缺乏隔离与灰度机制,坏信号可全网畅行)、对外沟通(故障公告与恢复进度播报迟缓,被舆论点名)。对其他三家,指导聚焦互联方向的过载保护与异常检测能力——自己的网要防得住“邻居发疯”。

这次事故和2022年KDDI断网事故,共同推动了日本在随后修订《电气通信事业法》:将“基干电信运营商”的网络安全与可靠性义务写入法律,违规可处罚款。故障复盘从“行业内部整改”变成了“法定义务”——一次割接的学费,最终由整个行业的监管框架来消化。

五、横向对照:大断网的四个共性问题

把docomo这次事故放进近年的大断网序列里看,规律非常刺眼:

事件 时间 时长 根因概要 波及特点
docomo全国语音瘫痪 2021-10-12 约6小时 割接缺陷信号+共因故障+信令洪水 一家施工,四网连锁
SoftBank大断网 2018-07-04 约4小时 核心网设备故障引发软件异常连锁 超3000万用户语音数据全断
KDDI断网 2022-07-02 约61小时 设备故障后话务激增,供应控制失效 约4000万用户,语音为主
AT&T大断网 2024-02-22 约半天内恢复 网络扩容中的操作流程错误 语音短信中断,数据正常

四个案子摆在一起,共性问题至少有四个:

  1. 都发生在变更或施工附近。docomo是割接,AT&T是扩容操作,KDDI的诱因链里有设备变更后的应对失当。变更窗口永远是事故率最高的时段。
  2. 语音网永远是最先倒的。四起事故中数据网基本幸存,语音专网次次中招——语音承载链条长、网元专用、信令复杂,天然比“公路式”的数据承载更脆。
  3. 爆炸半径都被同构性放大。全国一套软件、一套配置、一套流程,冗余设计在共因故障面前集体失效。
  4. 损伤都溢出了自家边界。docomo的信令洪水淹了三家,KDDI的拥塞传导到漫游与紧急呼叫体系。互联时代的故障,从来没有“只烧自己家”这回事。

六、经验教训:给割接工程师的五条军规

以18年核心网运维的视角,这起事故值得沉淀成五条可执行的军规:

第一,把每次变更当炸弹对待。 新设备、新软件接入现网前,必须在镜像环境完成故障注入验证——不是验证“正常流量跑得通”,而是验证“坏信号跑不出去”。缺陷信令的边界测试(异常IE、非法取值、超长报文)应当是割接准入的硬门槛,而不是可选项。

第二,灰度上线,保留隔离组。 全国一套软件等于全国一起死。割接应按大区分批推进,首批业务量压到最低,观察窗口拉满再放量,并且始终保留一组未动过的“干净”网关可随时承接——前提是它运行着不同版本的软件,否则“干净”只是幻觉。

第三,把互联对端当不可靠系统设计。 对每一个互联方向配置信令整形与呼叫间隔控制(call gapping),超限即丢弃并告警,绝不让自己被对端的故障洪水淹死。互联测试不能只测“正常呼叫”,要专门演练“对端发疯”场景——这恰恰是当前跨运营商联合演练里最缺的一课。

第四,紧急呼叫必须有独立旁路。 110/119类紧急呼叫应在承载与路由上与普通语音隔离,主用路径故障时自动降级到备用路由。检讨会对这一点的着墨,值得每一家运营商对照自查。

第五,对外沟通按分钟计。 故障公告、恢复进度、影响口径、赔偿方案,发布速度本身就是运维能力的一部分。docomo当天迟缓的信息播报,让技术上6小时的故障在公众感知上被放大成“失联的下午”。

七、结语

复盘这起事故,最令人后怕的不是那枚缺陷信号,而是它走过的每一步都“合规”:施工有计划、设备有测试、网络有冗余、互联有对通——但所有环节都只验证了“正常情况”,没有一个环节验证“异常情况”。于是四个各自看似健壮的系统,在一条真实的故障链上串成了多米诺骨牌。

网络的可靠性,从来不由最强的那次优化决定,而由最脆的那次割接决定。对每一位明天凌晨就要登上割接车的工程师来说,2021年10月12日的日本,就是最好的警钟:你敲下的那行指令,影响半径到底有多大——这个问题的答案,要在割接之前想清楚,而不是在1.5亿次未接通的呼叫之后。

参考来源

  1. 総務省(日本总务省)官网 — 本文根因分析主轴来源:总务省检讨会于2021年12月公布的调查总结及对四家运营商的行政指导(站内检索“令和3年 通信障害 検討会”可直达新闻稿与资料)
  2. NTT docomo 官方公告索引 — docomo关于10月12日、14日故障的官方说明与赔偿公告入口
  3. ITmedia NEWS — 日本IT媒体,事发当日至12月的连续报道(检索“ドコモ 通話障害 2021年10月12日”),含1.5亿次未接通呼叫等检讨会材料口径
  4. NHK NEWS — 日本公共媒体关于110/119紧急呼叫受影响及监管动态的报道
  5. Reuters Technology — 路透社对此次全国性语音中断的英文报道

注:文中时长、用户规模、赔偿金额等数字均来自当年官方材料与公开报道口径,个别数字(如赔偿总额)为媒体报道的估算值。


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入