**概述：** 2022年7月2日凌晨1时35分，日本第二大移动运营商KDDI（au）在一次语音交换机更换割接后发生全国性断网，语音与数据业务大面积中断，波及约3986万用户，直到7月4日午后才全面恢复，全程约61小时——是日本电信史上持续时间最长、影响面最广的移动网故障之一。本文以日本总务省（MIC）事故调查报告与KDDI官方通报为解读主轴（官网：[soumu.go.jp](https://www.soumu.go.jp/)），复盘这起“割接翻车→路由环路→注册风暴”的完整连锁过程：一个作业终端的IP地址撞车如何演变成雪崩，4000万部手机的自动重试如何把修复工作拖成持久战，以及174亿日元补偿账单背后的运维教训。 ## 目录 - 事故档案：从凌晨1点35分开始的61小时 - 第一张骨牌：割接现场的两个IP撞在了一起 - 雪崩机制：4000万部手机同时敲门 - 亡羊补牢：为什么修复比想象中难得多 - 账单：174亿日元是怎么算出来的 - 监管答卷：一次事故推动一部法律 - 写给割接工程师的七条教训 - 结语 ## 事故档案：从凌晨1点35分开始的61小时 先交代背景。KDDI旗下有 au、UQ mobile、povo 三个移动品牌，合计约6000万合同，是日本仅次于NTT docomo的第二大移动运营商。2022年7月2日是周六，深夜时段正是运营商做重活的标准窗口——KDDI安排在静冈县滨松市的机房对语音交换机进行更换割接。 事故时间线如下（以下时间均为日本时间，细节据总务省调查报告与KDDI官方通报）： | 时间 | 事件 | |---|---| | 7月2日 01:35前后 | 语音交换机更换割接后，语音呼叫开始大面积失败 | | 7月2日 凌晨 | 确认信令网出现路由环路，回退操作未能止损，故障开始向全国蔓延 | | 7月2日 白天 | 数据业务同步恶化，大量用户手机显示无服务或无法上网 | | 7月2日 18:00前后 | 数据通信开始分区域、分批次逐步恢复 | | 7月3日 17:25 | 语音业务基本恢复，距故障发生约40小时 | | 7月4日 15:00前后 | 剩余拥塞消除，KDDI宣布全面恢复，累计约61小时 | | 7月20日 | KDDI公布第二重诱因：注册状态通知装置存在缺陷，导致终端反复发起位置更新 | 用一张时间轴看全貌： ```text timeline title KDDI断网61小时大事记（2022年7月，日本时间） 7月2日 01:35 : 滨松语音交换机割接后语音呼叫大面积失败 7月2日 凌晨 : 确认信令网路由环路 回退未能止损 7月2日 白天 : 数据业务恶化 全国大面积无服务 7月2日 傍晚 : 数据通信开始分批恢复 7月3日 17:25 : 语音业务基本恢复 累计约40小时 7月4日 15:00 : 拥塞全部消除 全面恢复 累计约61小时 ``` 影响规模：总务省最终认定受影响用户约3986万，相当于日本总人口的三分之一。101、119等紧急电话在部分地区一度难以接通；日本气象厅证实部分地区面向au手机的暴雨警报配信出现延迟——那几天正是日本梅雨季暴雨频发的当口，这个细节让公众的愤怒从“上不了网”升级到了“可能耽误保命”。据日媒报道，部分航空公司在机场的值机与地勤通讯也受到影响；作为补救，NTT东西日本公司临时开放公用电话免费使用。KDDI社长田中孝司随后公开道歉，舆论同时批评其对故障进展的信息发布过于迟缓。 ## 第一张骨牌：割接现场的两个IP撞在了一起 这起事故的起点朴素得令人难受：**IP地址重复**。 割接作业中，工程师需要把作业用终端接入信令网络配合语音交换机更换。问题在于，这台作业终端使用的IP地址与信令网内一台既有设备的管理地址发生了重叠。两个设备占用同一个IP，路由表开始打架，多台信令设备之间形成了路由环路——发往语音核心的信令报文在环里打转，永远到不了目的地。 理解这个环为什么致命，要看清移动网的控制面拓扑。VoLTE语音呼叫的每一通建立，都要走一条完整的信令链路：终端发起呼叫→基站→核心网呼叫控制（语音交换机）→归属签约/注册系统查询→回指被叫。语音交换机不是一座孤岛，它嵌入在一张全国共享的信令网里。当环路恰好卡在这条链路的必经节点上，**全国所有**的语音呼叫建立请求都会被吞掉——这不是“滨松一个城市打不了电话”，而是“全国打不了电话”。 事后总务省调查报告对初期应对的批评相当直接：信令网缺少对路由环路的检测手段，告警没有在第一时间指向根因，从01:35语音劣化到明确环路位置并尝试处理，宝贵的窗口期被消耗掉了。更尴尬的是，回退割接并没有立刻让环路消失——地址冲突一旦污染了路由状态，把配置改回去不等于路由表立刻收敛。很多工程师对“回滚=恢复”有执念，这个案例给出了反例。 这里要补一句公道话：割接方案本身（更换语音交换机）是完全正常的运维动作，出问题的是变更支撑细节——作业终端的地址分配、入网前的冲突检测、信令网的环路防护。魔鬼全在基层。 ## 雪崩机制：4000万部手机同时敲门 如果说路由环路是第一张骨牌，真正把故障从“语音打不通”放大成“全国瘫61小时”的，是第二张骨牌：**注册风暴**。 移动网络里，终端并不是连上基站就完事，必须周期性或在移动时向核心网做位置更新/注册，网络才知道你在哪、能不能寻呼到你。环路导致语音信令失败后，终端的注册请求得不到正常响应；更要命的是7月20日才公布的第二重诱因——网络侧负责向终端通知注册状态的装置存在缺陷，在拥塞发生时给出了错误的状态指示，让大量终端误以为自己没有注册成功，于是按协议规定的机制一遍又一遍重试。 于是出现了教科书级的正反馈雪崩： ```mermaid flowchart TD A["深夜割接：更换语音交换机"] --> B["作业终端与既有设备管理IP地址重复"] B --> C["信令网路由环路"] C --> D["语音信令大量丢失 呼叫控制失灵"] D --> E["终端收到异常的注册失败指示"] E --> F["数千万终端同时反复发起位置更新"] F --> G["注册与鉴权系统过载"] G --> D G --> H["数据业务的位置更新也被拖垮"] H --> F G --> I["全国范围大面积无服务"] ``` 看懂这张图的关键在两条回环边。环路让呼叫失败，失败触发重试，重试压垮注册系统，注册系统过载又制造更多失败——**故障的自我放大回路一旦闭合，网络就进入了越忙越错、越错越忙的状态**。更狠的是，注册系统过载不只影响语音：LTE网络里数据业务的可用性同样依赖位置更新，注册通道堵死之后，大量用户的手机直接变成“无服务”，故障从语音面烧到了数据面。 4000万部手机同时敲门，这就是信令风暴的物理含义。做过核心网的人都清楚：信令面的容量设计和用户面不是一个量级的逻辑，终端的重试行为是协议标准规定的，你没法让用户关机——能做的是在网络侧装闸门。 事实上3GPP标准里从来不缺这类闸门：接入等级控制（ACB）和扩展接入限制（EAB，见TS 22.011）可以在拥塞时按终端类别分批放行；NAS层拥塞控制允许网络在拒绝注册时下发退避定时器T3346（见TS 24.301），让终端在指定时间内安静；MME与归属系统也有过载控制机制。标准允许多种实现，具体策略与参数以各厂家官方文档为准——但KDDI事故说明的恰恰是：闸门有没有预置好、阈值是否合理、在割接预案里有没有“风暴发生时按什么顺序启用哪道闸”的剧本，这些才是生死线。 ## 亡羊补牢：为什么修复比想象中难得多 从工程视角看，这次事故最有价值的内容其实不是“怎么坏的”，而是“为什么修了61个小时”。 第一，根因定位耗时。信令环路的表现是大量呼叫失败，而呼叫失败的常见原因有几十种——拥塞、鉴权异常、板块故障。凌晨的NOC里，值班团队要先排除常规嫌疑，才能锁定到“路由环路”这种低概率根因。缺少面向信令网的环路检测与拓扑可视化，定位就靠人肉逐段排查。 第二，修好环路不等于恢复业务。环路消除后，约4000万终端积累的重试请求一拥而上——这是一个典型的thundering herd。如果网络侧敞开大门照单全收，注册系统的过载会瞬间复现，故障二次崩塌。KDDI采取的做法是分区域、分批次控制再注册的速率，让4000万部手机排队进门：先放数据业务，再放语音；先恢复一部分区域，观察信令负荷，再放下一批。这也是为什么数据业务在7月2日傍晚就开始恢复，而语音拖到7月3日17:25、全部拥塞彻底清空又多等了约20个小时。 第三，第二重诱因拖后腿。注册状态通知装置的缺陷不修复，终端就会持续收到错误指示、持续重试，等于雪崩的燃料源没有掐断。KDDI是在恢复过程中才发现并处理这个缺陷的，7月20日才对外完整公布。回头看，这揭示了一个令人警醒的规律：**大故障很少只有单一根因，第一因引发故障，第二因阻止收敛**。复盘时如果只找到第一因就宣布结案，下一次修复永远会慢半拍。 第四，修复期间还要防“次生灾害”。断网期间全国用户的通信需求涌向其他运营商网络和WiFi，多家运营商出现流量激增；紧急电话通道的状态、政府与气象部门的警报配信，都需要与外部机构逐项核对。恢复不是技术动作，是一场多方协同的联合作业。 ## 账单：174亿日元是怎么算出来的 事故的经济代价分几个层面。直接层面是补偿：经日本电气通信纷争审查委员会的介入程序，KDDI向受影响用户按断网天数提供话费减免，povo等部分套餐用户以数据量赠送等形式补偿。据KDDI随后公布的数据，最终覆盖约1615万件合同、总减免金额约174亿日元（约合人民币8至9亿元）——平均下来一笔合同几百日元不算多，但总额相当于一座中型核心网机房的多年建设投入，一次割接赔了进去。 间接层面则难以计价：紧急电话不畅引发的安全焦虑、暴雨警报延迟带来的公共安全风险敞口、企业客户（物流、零售、金融依赖移动网络做支付与配送确认）的业务损失，以及品牌信誉——事故调查期间KDDI的企业形象 surveys 一落千丈。对运营商而言，61小时断网的账单从来不只是话费减免那一栏。 | 维度 | 数据/事实 | |---|---| | 影响用户 | 约3986万（au、UQ mobile、povo合计），约为日本总人口三分之一 | | 持续时间 | 约61小时（语音基本恢复约40小时） | | 紧急电话 | 110/119部分地区一度难以接通 | | 气象警报 | 部分地区暴雨警报配信延迟（日本气象厅证实） | | 直接补偿 | 约1615万件合同，总额约174亿日元 | | 社会补救 | NTT公用电话临时免费开放 | ## 监管答卷：一次事故推动一部法律 这起事故在日本的监管层面留下了实质性遗产。 其一，总务省组织专项调查并发布调查报告，对KDDI实施行政指导，要求其在故障分离设计、变更管理、故障应对流程、信息发布机制等方面系统整改。报告中对“单一故障不应导致全国性瘫痪”的故障分离原则着墨很多——一张全国共享的信令网让滨松的一个地址冲突有了全国杀伤力，这种架构级的单点耦合被明确列为整改方向。 其二，事故的问责程序让补偿成为制度动作而非公关动作，电气通信纷争审查委员会在减免方案中的角色，为后续大故障的用户补偿提供了参照模板。 其三，也是影响最深远的：这起事故与此前2021年10月docomo约29小时的大故障叠加，直接推动了日本《电气通信事业法》的修订——建立重大通信事故对监管机构的强制报告制度，并于2024年施行。从此，日本运营商发生重大故障不再只是“发个新闻稿道歉”，而是有法定时限、法定内容的事故上报义务。operator圈子里常说“好监管是被大故障教育出来的”，日本这两年的立法节奏就是活例子。 KDDI自身的整改方向也值得记录：强化信令网的故障分离与冗余、给注册与鉴权系统扩容、把重试控制与拥塞闸门纳入割接预案、常态化开展大规模故障演练、建立面向重大故障的应急指挥体制。这些条目看上去平平无奇，但对照事故链路，每一条都精准堵在雪崩路径的一个环节上。 ## 写给割接工程师的七条教训 18年核心网运维做下来，我的体会是：每一起大故障都能在别的网络里找到它的“预演版本”。KDDI这61小时，值得每个通信工程师抄进自己的检查单： 1. **变更资产有台账，作业终端先查重。** 作业终端、临时服务器这类“编外设备”入网前，IP/地址资产要过唯一性校验，用ARP探测、地址管理平台做冲突检测，五分钟的事故预防胜过61小时的事故处置。 2. **信令网要能“死得小”。** 路由过滤、环路防护、控制面分域隔离，目标只有一个：让任何局部的信令异常不具备全国杀伤力。故障分离不是容量问题，是架构纪律。 3. **注册风暴要有预置闸门。** ACB/EAB、退避定时器、分批放行策略，要在割接预案里写清楚“出现注册风暴时的启用顺序与触发阈值”，而不是等风暴来了现场发明。 4. **回滚不等于恢复。** 回退之后要评估路由收敛、缓存状态、终端重试积压，按受控速率放闸。把“恢复阶段”当成一次新的变更来管理，它有自己的风险和剧本。 5. **警惕第二根因。** 大故障的收敛往往卡在第二个、第三个缺陷上。复盘和恢复过程中，持续追问“还有没有别的东西坏了”，直到网络行为可以完全用已知根因解释。 6. **演练要把“连锁放大”当一等公民。** 注入注册失败、模拟信令环路，看网络自己会不会雪崩、闸门会不会生效、值班团队多久能定位。没演练过的预案等于没有预案。 7. **对外沟通与抢修同等重要。** 两小时一报的节奏、按品牌和业务分项说明、紧急电话状态单独披露——用户对故障的容忍度远高于对“不知道发生了什么”的容忍度。 ## 结语 KDDI事故没有黑客，没有火灾，没有天灾——只有一个重复的IP地址、一个设计上无法自我刹车的重试回路，和一群在凌晨被叫醒的工程师。它再次验证了通信行业那条冰冷的铁律：网络的可靠性不取决于最好的那部分设计，而取决于最坏的那个巧合能不能被限制在局部。 4000万人、61小时、174亿日元，这是一堂用真金白银上的课。课上教的内容其实并不高深：地址要查重、信令要防环、重试要装闸、放闸要有度。难的从来不是知道，而是在每一次深夜割接前，把都知道的这些事，一条一条再检查一遍。 ## 参考来源 1. [日本总务省（MIC）官网](https://www.soumu.go.jp/) — 本文主轴信源：以「KDDI 通信障害 調査報告書」在站内检索，可获取事故调查报告全文、行政指导公告及《电气通信事业法》修订说明（3986万用户等权威数据出处） 2. [KDDI官方新闻发布](https://news.kddi.com/) — KDDI对本次故障的历次通报、致歉公告与7月20日第二重诱因说明，以及补偿方案（约1615万件、总额约174亿日元）的官方口径 3. [Reuters：Japan's KDDI restores services after huge network outage](https://www.reuters.com/technology/japans-kddi-restores-services-after-huge-network-outage-2022-07-04/) — 路透社对恢复时间线（61小时）与影响规模的英文报道 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。