首页 › tech › KDDI断网61小时复盘

概述: 2022年7月2日凌晨1时35分,日本第二大移动运营商KDDI(au品牌)在一次例行的核心网设备替换割接后,爆发了日本电信史上罕见的大规模通信故障——全国约3935万条移动合同话音中断、数据近乎瘫痪,全面恢复耗时约61小时。本文以日本总务省2022年7月26日公布的官方调查报告与KDDI官方公告为主轴,结合路透社等外媒报道,逐小时复盘这次“割接惹祸、重试放大、恢复二次翻车”的经典案例:一条被误删的信令路由如何演变为控制面雪崩,哪些教训至今仍值得每一个核心网运维团队写进割接方案。

目录

一、61小时时间线:一次例行割接如何演变成国家级故障

先把事件脉络摆出来。以下时间点综合KDDI官方通报、总务省调查报告及路透社、NHK等媒体报道整理:

时间(日本时间) 事件 关键点
7月1日深夜~7月2日凌晨 东京地区核心机房开展VoIP网关老朽化更新割接 计划内例行作业,选择话务低谷窗口
7月2日 1:35 全国范围话音业务出现大面积失败 VoLTE信令路由失效,故障已非局部
7月2日 上午 KDDI首次官方推特通报,称“预计傍晚恢复” 该条“将恢复”的判断事后被证明过于乐观
7月2日 17:56 社长高桥诚出席记者会道歉 承认话音与数据均受影响,无法给出恢复时间
7月3日 全天 部分系统恢复引发终端集中再注册,拥塞反复 恢复过程本身成为新的故障源
7月3日 17:35 数据通信基本恢复 话音业务仍不稳定
7月4日 下午 KDDI宣布全面恢复 距故障发生约61小时
7月4日之后约一周 潮位计、水位计等物联网设备陆续修复 部分防灾监测设备离线数日

用一张时间线图直观呈现故障的“三级火箭”式恶化过程:

timeline
    title KDDI大规模通信故障61小时关键节点
    section 7月2日 周六
        凌晨1时35分 : 割接后话音信令路由失效 : 全国话音大面积失败
        上午 : 官方通报称预计傍晚恢复 : 判断过于乐观
        傍晚 : 社长记者会道歉 : 无法承诺恢复时间
    section 7月3日 周日
        全天 : 终端集中再注册 : 拥塞反复震荡
        17时35分 : 数据通信基本恢复 : 话音仍不稳定
    section 7月4日 周一
        下午 : 宣布全面恢复 : 累计约61小时

注意一个细节:故障起点是周六凌晨,全面恢复却拖到了周一——恰好跨越了一个完整的周末。这意味着大量依赖移动网络的企业系统(物流、车联网、支付、远程监测)在没有任何预警的情况下,带着一条“瘸腿”的网络进入了工作日。这也是本次故障社会影响远超历次日本运营商事故的直接原因。

二、权威调查怎么说:总务省报告与KDDI整改公告

本文的解读主轴,是两份权威文件:

其一,日本总务省(総務省)2022年7月26日公布的调查报告《KDDIにおける通信障害の原因及び再発防止策の検討状況について》(关于KDDI通信故障的原因及防止再发对策的研讨情况)。总务省依据《电气通信事业法》启动调查,对故障原因、应急处置和信息披露逐项核查,并对KDDI实施行政指导。这是日本监管层对单一运营商故障罕见的正式定调文件。

其二,KDDI官方新闻发布页(news.kddi.com)上持续更新的故障通报、道歉声明、赔偿方案与整改措施公告,以及KDDI设立的第三方调查委员会在2022年8月发布的报告——委员会提出了数十项防止再发对策。

两份文件+持续更新的官方公告,构成了本文全部关键事实的锚点;涉及具体金额、用户数等数字,本文同时标注路透社等外媒报道口径,凡未经官方确认的细节均予注明。

三、根因解剖:一条路由信息,放倒一张4000万用户的网

3.1 割接窗口里的“路由真空”

按照总务省报告与KDDI官方说明,故障的直接触发点是一次计划内的老旧设备替换作业:7月1日深夜至2日凌晨,KDDI在东京地区的核心机房对一台老朽化的VoIP网关执行更新割接——这是话音核心网中连接呼叫控制域与网间侧的关键设备,运营商每隔若干年做一次硬件轮换,属于再常规不过的操作。

问题出在旧设备退网的方式上。割接过程中,相关信令路由设备上指向部分呼叫控制服务器的IP路由信息随旧网关下电而被删除,且未正确重建。用大白话说:割接之后,一部分从网络侧发往呼叫控制服务器的VoLTE信令(SIP注册与呼叫请求)“找不到路了”——信令发出去了,但核心网里没有任何一台设备知道该把它往哪儿转。

这就是典型的割接“路由真空”:设备层面的下电、替换都成功了,监控里可能连告警都不明显,但信令路径上有一跳已经断了。凌晨1时35分起,全国范围内VoLTE注册和呼叫开始成片失败,用户手机上表现为“无服务”或“仅限紧急呼叫”。

这里有一个所有核心网工程师都该刻在脑子里的认知:移动网络的话音早已不是传统电路交换,而是架在IP承载网上的信令系统。IMS域里一条SIP注册要经过终端—无线—核心—SBC—呼叫控制服务器多个环节,任何一跳的路由缺失,后果都不是“部分用户打不了电话”,而是“注册都完不成”——而注册是终端使用网络的一切前提。

3.2 为什么数据也跟着瘫

很多报道把这次事故简单描述为“话音故障”,这是不准确的。数据业务的大面积瘫痪,是控制面故障的连锁反应:

控制面和数据面的关系,就像高速公路的收费站和车道:收费站瘫痪了,车道再宽也放不了行。这次故障是“收费站击穿”的教科书案例。

四、重试风暴:终端行为如何把故障放大三个量级

如果说路由删除是“点火”,那么让火势烧足61小时的,是终端重试行为与网络恢复策略的负反馈循环。总务省报告将其列为重点:拥塞导致注册失败,失败触发更多重试,重试加剧拥塞——网络陷入自我放大的漩涡。叠加用户端的操作(反复重启手机、开关飞行模式),信令压力进一步抬升。

flowchart TD
    A["割接:旧VoIP网关下电"] --> B["信令路由信息丢失"]
    B --> C["VoLTE注册与呼叫信令无法到达呼叫控制服务器"]
    C --> D["海量终端注册失败"]
    D --> E["终端按协议退避重试"]
    E --> F["控制面信令拥塞"]
    F --> G["附着与寻呼失败,数据业务随之瘫痪"]
    G --> H["用户重启手机、开关飞行模式"]
    H --> D
    F --> I["恢复分批放行与限流"]
    I --> J["7月3日傍晚数据恢复"]
    J --> K["7月4日下午全面恢复"]

雪崩机制里有三个值得单独强调的细节:

第一,重试没有“节拍器”。 数千万台终端的重试定时器彼此独立、互不同步,网络侧缺乏对注册类信令的分布式限流与优先级调度,等于任由一场没有指挥的合唱冲击大门。

第二,恢复点是最危险的时刻。 7月3日网络部分恢复时,此前被压制的海量终端同时涌入注册,瞬间形成新的洪峰,拥塞反复震荡。KDDI最终采取分批放行、限制重试频率等措施逐步“放水”,才在7月4日下午完成全面恢复。恢复过程本身就是一次高危割接——这是本次事故留给行业最深刻的一课。

第三,终端侧的“自救”会害死网络。 手机重启、飞行模式切换在个体视角是合理的自救动作,但在全网尺度上是负反馈放大器。终端厂商的自动恢复策略(故障检测到自动重置网络连接)也在雪球上加了推力。网络设计必须把“最坏终端行为”作为容量规划的输入,而不是假设终端会温柔地排队。

五、影响面:打不出去的,不只是电话

据KDDI公布,本次故障波及au、UQ mobile、povo三个品牌合计约3935万条移动合同;若计入依赖KDDI网络的转售(MVNO)用户,日媒普遍以约4000万规模报道——接近日本全国移动用户的三分之一。据路透社、NHK等媒体报道,社会层面的影响包括:

领域 影响情况 说明
紧急呼叫 多地消防部门接到“119打不通”的反映 日媒报道了个别因呼救延迟而救治延误的案例;是否直接致死未获官方认定
航空出行 部分机场值机与地面调度系统受影响,航班延误 相关系统使用了受影响运营商的通信线路
物流运输 车队管理、派单系统大面积离线 工作日临近恢复才完成,司机被动停工
车联网/共享出行 共享汽车解锁、车联网服务中断 部分车辆长时间无法使用
防灾与公用监测 潮位计、水位计、气象观测设备离线 部分设备缺乏自动重连能力,离线持续数日
农业与工业物联网 农机调度、远程监控终端离线 IoT终端无人工干预时难以自愈

特别值得注意的是防灾监测设备这一条。日本是灾害大国,潮位计、水位计是海啸与洪水预警体系的神经末梢,它们大多搭载运营商物联网卡、7×24小时回传数据。本次故障暴露出一个此前被普遍忽视的短板:大量物联网终端不具备“断网后自愈”能力——网络恢复后,它们不会自动重连,需要人工到现场逐一复位。KDDI在全面恢复之后又花了数天处理这类残余故障,直到7月8日前后仍有设备陆续修复(据KDDI公告与日媒报道)。

对运维团队而言,这延伸出一条重要的设计准则:评估一次故障的影响面,不能只算手机用户,要把网络上每一类终端的“重连行为”建模。手机会自己爬回来,潮位计不会。

六、处置复盘:三个失误

复盘KDDI在故障中的处置,总务省报告与媒体评论集中指向三个失误:

失误一:割接方案缺少“真空审查”。 旧网关退网前,没有对“删除这台设备后,哪些信令路径会受影响”做逐跳推演,也没有准备紧急回退手段。割接完成即宣告成功,没有设置足够的观察期——等到全国性话音失败出现时,作业窗口早已关闭,初始变更团队可能已散场,故障定位与回退都错过了黄金时间。

失误二:信息披露反复、滞后。 故障当天上午,KDDI的官方通报还给出“预计傍晚恢复”的乐观判断,事后被现实打脸;社长的首次记者会已在故障发生16小时之后。对一个4000万用户量级的故障而言,每一次不准确的通报都在消耗公信力,也间接放大了用户端的重试行为(用户得不到权威信息,只能靠重启手机“自救”)。

失误三:对恢复期的信令洪峰预判不足。 7月2日至3日期间,恢复操作多次引发拥塞反弹,说明“如何把4000万用户安全地请回网络”没有预案。分批放行、区域灰度这类控制面限流手段,是在反复震荡后才逐步用起来的。

三个失误背后是同一个根子:这是一家没有经历过“全国级故障”的成熟运营商,用局部故障的经验在管理全国级的风险。控制面容量、终端行为模型、恢复灰度策略,这些能力只有在真正的大规模故障里才能暴露缺口。

七、代价与整改:约100亿日元赔偿、行政指导与网络强化

故障的直接代价:据路透社等媒体报道,KDDI对个人用户推出了总额约100亿日元(约合人民币5亿元)的补偿方案,企业用户另行赔偿;社长高桥诚公开道歉并接受减薪处分(据日媒报道)。监管层面,总务省依据《电气通信事业法》实施行政指导,并公布了前述调查报告;此后日本监管层推动了大规模故障上报与信息公开规则的修订,要求运营商更快、更透明地披露故障信息(据总务省后续公告)。

整改层面,KDDI第三方调查委员会提出了数十项防止再发对策,官方公告中落地的方向包括:强化信令网冗余与自动迁回、升级控制面拥塞控制能力、改革割接管理流程(强化事前评审与多重复核)、常态化开展大规模故障演练,以及建立故障信息的快速披露机制。

平心而论,KDDI的整改力度是到位的——此后两年多,KDDI未再发生同量级故障。但61小时的代价换来的一整套流程重构,其成本远超100亿日元的现金赔偿:品牌信任的折损、物联网客户流向竞品、以及在政府层面的信誉透支,都写在财报之外的账本上。

八、给核心网运维的六条军规

把这次事故的教训压缩成六条可执行的军规,建议直接抄进你们团队的割接管理制度:

  1. 任何设备退网前,先画信令地图。 逐跳确认“这台设备消失后,指向它的路由谁来接管”,路由收敛方案要有配置快照和秒级回退开关。设备替换类割接必须回答一个问题:如果现在把它拔了,信令往哪儿走?
  2. 割接完成≠成功,观察期写进方案。 割接后至少完整观察一个话务周期(含早晚高峰),关键KPI(注册成功率、呼叫接通率、寻呼成功率)设硬性门槛,不达标立即回退。
  3. 控制面按最坏终端行为做容量规划。 把全网终端数的重试放大系数纳入信令面容量模型,注册类信令必须有分布式限流、优先级队列和快速熔断能力。
  4. 恢复即割接,灰度放行是铁律。 大规模故障恢复时分区域、分品牌、分批次放行注册,把回网洪峰摊平;恢复预案要和故障预案同等深度地演练。
  5. 紧急呼叫路径永远留逃生通道。 119/118等紧急呼叫的路由要在核心网故障场景下单独设计冗余,这条线的可靠性标准应该高于一切商用业务。
  6. 信息披露口径统一、宁慢勿错。 大故障时发一条“还在查、有进展随时通报”,好过发一条两小时后撤回的“已恢复”。信息的准确性就是用户的恐慌程度和终端重试强度的调节阀。

结语

KDDI这次61小时故障,技术上的“第一块骨牌”小得令人错愕——一次例行的网关替换,一条没有重建的路由。但它走过的每一级放大链条:信令路径单点、控制面无节流、终端重试无序、恢复无灰度、披露无章法,每一环都是可以提前布防的。四年过去,5G-A与6G演进让网络控制面越来越复杂、终端生态越来越异构,这套“路由真空+重试风暴”的故障范式不会消失,只会在新的架构里换个马甲重现。对运维人而言,最好的纪念不是背下这份时间线,而是在下一次割接方案评审会上,把本文第八节的六条军规逐条问一遍。

参考来源

  1. KDDIにおける通信障害の原因及び再発防止策の検討状況について(日本总务省) — 总务省2022年7月26日公布的官方调查报告与行政指导公告,本文根因与整改措施的主轴来源(报告全文可在总务省官网检索标题获取)
  2. KDDI新闻发布:通信障害関連のお知らせ — KDDI官方故障通报、社长道歉记者会、赔偿方案与整改措施公告汇总
  3. KDDI通信障害(2022年) - ウィキペディア(日文) — 事件全过程、时间线与引用文献汇编
  4. KDDI - Wikipedia(英文) — KDDI公司沿革、市场地位与管理层信息(本文已实际抓取核对)

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入