# 一条路由配错，61小时全网失联：KDDI「7·2」断网事故深度复盘 ## 概述 2022年7月2日凌晨1时35分，日本第二大移动运营商KDDI（au/UQ mobile/povo）发生全国性通信故障，语音、短信大面积中断，历时61小时25分钟方才恢复，受影响用户约3915万，约26万企业客户被波及。事故的直接起因，是东京多摩站点一次例行传送网路由器割接作业中**路由配置错误**——一行配置，引爆了终端位置登记重发风暴，压垮VoLTE节点和全国用户数据库。本文依据KDDI官方事故说明、总务省行政指导文书及多家媒体报道，完整还原事故时间线、故障传播链、恢复过程、监管处置与赔偿方案，并提炼出六条可直接落地的核心网运维铁律。它回答的问题是：**一次再普通不过的例行割接，为什么能放倒一个4000万用户的全国网络？** ## 一、事故基本盘：和平时期的「全国失联」 先看官方口径的关键数据： | 指标 | 数值 | | --- | --- | | 故障起止 | 2022年7月2日（周六）1:35 — 7月4日（周一）15:00（JST） | | 持续时长 | **61小时25分钟** | | 影响范围 | 全国 | | 受影响语音用户（VoLTE） | 约2278万（KDDI单体，按故障期话务量与人均呼叫量差值测算） | | 受影响数据用户（4G/5G） | 765万以上（按位置登记数差值最大值测算） | | 全品牌合计 | 约3915万（含UQ mobile、povo，据多家媒体报道） | | 受影响企业客户 | 约26万 | 这不是小范围退服，而是**全国语音近乎全阻**——在智能手机时代，等于让近4000万人瞬间回到「失联」状态。乐天移动（Rakuten Mobile）部分借道KDDI网络漫游的用户也受到波及。 更扎心的是时间点：周六凌晨1:35发生故障，直到**周一**下午才彻底恢复。对公众而言，「周末断了网、周一上不了班」的体感，比故障本身更愤怒。 ## 二、事故时间线 | 时间（JST） | 事件 | | --- | --- | | 7月2日 01:35 | 多摩站点传送网路由器维护作业中路由配置出错，位置登记信令异常，语音业务开始大面积中断 | | 7月2日 上午 | 用户大规模抱怨「打不出电话」；KDDI称「正在调查原因」，全国性故障逐步确认 | | 7月2日 白天至晚间 | 信令重发风暴持续扩散，全网VoLTE节点及用户数据库陷入拥塞；KDDI实施流量控制，未见效 | | 7月2日晚间—7月3日 | KDDI将全网18个VoLTE节点中的6个断开隔离，切断重发源，语音通信逐步恢复 | | 7月4日 15:00 | 业务恢复至故障前水平，官方认定影响期共计61小时25分钟 | | 7月28日 | KDDI向总务省提交10页事故报告，自评为「重大事故」 | | 7月29日 | 公布客户返还（赔偿）方案 | | 8月3日 | 总务省向KDDI与冲绳Cellular发出**行政指导**（严格警告） | | 9月起 | 话费返还陆续抵扣到账 | ## 三、根因还原：一次割接如何滚成全国性雪崩 KDDI官方把故障成因拆成了「起爆—放大—迁延」三级链条，这恰好也是大型通信事故最经典的三段论。 ```mermaid flowchart TD A["传送网路由器割接作业（多摩站点）"] --> B["路由配置错误"] B --> C["位置登记请求被丢弃"] C --> D["终端快速重发，形成信令风暴"] D --> E["多摩VoLTE节点拥塞"] E --> F["经全国传送网分散处理，波及其他站点"] F --> G["全网VoLTE节点拥塞"] G --> H["VoLTE节点与PGW反复向用户数据库认证"] H --> I["用户数据库拥塞"] I --> J["限流措施未奏效，拥塞持续"] J --> K["断开18个VoLTE节点中的6个，切断重发源"] K --> L["拥塞消除，逐步恢复"] ``` ### 1. 起爆点：被丢弃的位置登记请求 故障当晚，KDDI对东京多摩地区的**全国传送网路由器**进行例行维护，作业过程中路由器被错误配置。此后，终端发出的**位置登记请求在传送环节被丢弃**。 搞过核心网的人都懂这意味着什么：丢弃请求，不等于消灭请求。4G/5G终端对位置登记（TAU）和IMS注册有严格的重发机制，请求收不到回应，终端会以极短间隔反复重发。一瞬间，海量重发信令涌入多摩站点的VoLTE节点，**节点被打满**。 这里有一个值得每位运维背下来的细节：**「默默丢弃」和「拒绝并告知退避」是两种完全不同的 failure mode**。后者终端会按指示退避，前者终端只会变本加厉。KDDI这台路由器选择的，恰恰是最糟糕的那一种。 ### 2. 放大机制：分布式架构反而成了传播网络 多摩节点拥塞后，系统按设计将业务**经全国传送网分散处理到其他站点的VoLTE节点**——这本是负载均衡的高可用设计。但在信令风暴场景下，「分散」变成了「投毒」：重发风暴被原样搬运到全国，其余站点的VoLTE节点相继拥塞。 更致命的第二跳：VoLTE节点和移动网设备（PGW）**每次操作都要向用户数据库认证**，重发信令一次次穿透到数据库层，全国性的用户数据库（HSS/UDM这一层的角色）随即陷入拥塞。至此，故障完成了从「一个站点」到「一张网」再到「公共数据库」的三级跳。 ### 3. 迁延根源：恢复无章可循 拥塞发生后，KDDI实施了流量控制，但**限流没有压住拥塞**——部分VoLTE节点仍持续向数据库超发信令。最终采用的方案带有「断臂」色彩：**将全网18个VoLTE节点中的6个直接断开隔离**，物理上消除终端重发的来源，拥塞才得以消除。 KDDI自查报告对三级失效的归因，句句见血： | 阶段 | 直接问题 | KDDI自查原因 | | --- | --- | --- | | 作业中 | 路由配置错误 | 作业准备不足：管理规则、确认项、审批方式均有缺陷 | | 扩大 | 拥塞控制预想不足 | 未充分考虑异常网络状态下的拥塞控制，故障波及全国 | | 迁延 | 拥塞状态下的恢复无章可循 | **未建立从复杂拥塞状态恢复的作业程序** | ## 四、为什么恢复了61个小时 很多人看不懂：不就一个配置错误吗，改回来不就行了？这正是本次事故最值得深挖的地方——**配置错误几分钟就能改掉，但被信令风暴浸泡过的网络，恢复是另一个工程**。 其一，故障已经「分层固化」。路由改回后，VoLTE节点内部积压的会话状态、数据库端的认证排队、终端侧的注册状态机错乱，都需要逐层清理。终端大量处于「半注册」状态，一旦网络部分恢复，积压的位置登记请求如洪水开闸，随时可能再次压垮刚喘过气来的节点。 其二，恢复动作本身没有预案。KDDI在自查中明确承认「未建立从复杂拥塞状态恢复的作业程序」。限流、重启、扩容、隔离这些手段在该场景下的先后顺序、副作用评估，事先从未推演过。运维团队是在故障进行时，边试边找路。 其三，「重启大法」在信令风暴面前会适得其反——节点重启后状态重建，反而触发新一轮注册洪峰。这也是为什么最终要选择「断开6个节点」这种减少重发源的方式，而不是把节点拉起来硬扛。 一句话总结：**这套网络为「节点故障」做了冗余，但没有为「全网性拥塞」做任何设计**。冗余解决的是单点失效，而这次事故从头到尾都不是单点失效。 ## 五、社会影响面：一张移动网络瘫了，半个日本跟着抖 KDDI官方列出的企业级影响清单，读起来像一份「电信基础设施依赖度」教科书： - **物流**：快递状态更新、与配送司机的联络中断，多家物流企业配送延迟； - **汽车**：车联网（Connected Car）服务受影响； - **行政**：气象数据采集、智能水表抄收延迟； - **金融**：银行网点外的ATM受影响； - **交通**：机场无线对讲设备、公交车IC卡受影响。 消费端的影响更直接：数千万用户两天多打不出电话。据当时日本媒体报道，多地消防、警方部门一度反映119/110报警电话难以接通，对独居老人等脆弱群体构成实际安全风险——这也是后来监管层面反应强烈的重要原因。媒体还观察到，故障初期KDDI自己的故障说明页面一度难以访问，海量用户涌入查询反而加剧了信息真空。 值得记一笔的行业背景：2021年10月NTT docomo、2021年12月SoftBank相继发生全国性故障，加上KDDI这次，日本三大运营商在一年内全部「沦陷」。这不是某家公司的手抖，而是行业性的结构性问题——正如《读卖新闻》社论所呼吁的，防止此类事故重演需要**整个通信行业**共同拿出对策。 ## 六、监管处置：新制度下的「重大事故」认定 这次事故恰好撞上了日本电信监管的「新规元年」。依据2022年4月起施行的新《电气通信事业法》体系，影响3万以上用户超过1小时的故障即构成**重大事故（深刻化事故）**，运营商必须向总务省提交报告——Light Reading援引的正是这一认定门槛，KDDI此次事故远超阈值。 7月28日，KDDI向总务省提交10页事故报告，基于对通信设备维护作业标准与方法、拥塞检测与控制设计的复盘分析，并给出整改方案。8月3日，总务省向KDDI与冲绳Cellular两家公司发出行政指导，以防止类似事故再次发生——监管方在后续检讨中点名的短板包括：**作业过程管控、拥塞设计、高负载恢复测试、故障演练以及对外信息发布**五个方面。这五项，条条都是运维管理的核心科目。 ## 七、赔偿账单：3860万人的「200日元」 7月29日，KDDI公布双轨返还方案： | 方案 | 适用对象 | 返还内容 | | --- | --- | --- | | 条款返还（合同责任） | 故障期间连续24小时以上无法使用全部服务的用户：KDDI约271万 + 冲绳Cellular约7万 | 抵扣相当于**2天基本使用费** | | 致歉返还（无责道歉） | 故障期间签约的全部智能机/功能机/家庭固定电话（Fixed services with VoLTE）用户：KDDI约3589万 + 冲绳Cellular约66万 | 话费抵扣**200日元**（不含税） | | povo2.0 特别方案 | 该品牌用户（月租0日元，无费可退） | 追加**1GB/3天**流量包 | 算笔账：仅「致歉返还」一项，3589万人 × 200日元，就是**超过70亿日元**；再加上271万人两天基本费的抵扣，外界普遍估算整体善后成本在百亿日元量级。值得一提的是，KDDI在返还通知的短信中反复强调「不含链接、不索要个人信息」——大范围赔偿通知必然伴随钓鱼攻击潮，这也是故障善后的标准动作，值得国内同行抄作业。 ## 八、给核心网运维的六条铁律 以18年核心网运维的视角，把这次事故焊成六条可执行的规矩： **铁律一：割接配置必须机器校验，不能只靠人眼。**「作业准备不足——管理规则、确认项、审批方式均有缺陷」，KDDI这句自评翻译过来就是：没有强制的配置diff review、没有双人复核卡点、没有自动化的路由一致性校验。任何进入核心网的配置变更，都应有下发前自动比对 + 关键路由的预期可达性验证。 **铁律二：网元要学会「优雅拒绝」，而不是「默默丢弃」。**过载时返回带退避指示的拒绝信令，引导终端指数回退，是从根上遏制重发风暴的手段。采购与验收时应把过载行为（overload behavior）作为硬性测试项。 **铁律三：为「全网性拥塞」单独设计，别指望冗余救场。**主备、负荷分担防的是单点失效；信令风暴是全网联动事件，需要独立的拥塞分级预案、数据库前置限流层和分域隔离能力。KDDI的「分散处理」设计在风暴面前就是扩散器。 **铁律四：恢复预案要演练「恢复本身」。**大多数团队的演练停在「故障发现—倒换成功」，从不演练「拥塞未消除时如何安全恢复」。限流、隔离、重启的动作顺序和副作用，必须提前写成手册。KDDI为这个空白付出了61小时。 **铁律五：监控要下沉到信令速率和路由层。**位置登记成功率、注册请求速率基线、关键路由表状态，这些是比「进程活着、端口通了」早一步的金丝雀。多摩节点拥塞的最初几分钟，如果能被速率基线告警捕捉并自动触发分域限流，故事可能是另一个结局。 **铁律六：凌晨割接要配「凌晨编制」。**1:35是话务低谷，也是审批链和专家资源最薄弱的时段。重大变更应强制要求：资深值班主任在岗、厂商支持热线预约到人、变更后30分钟内的信令指标巡检清单化。 ## 结语 KDDI「7·2」事故没有惊天动地的外因——没有火灾、没有光缆被挖断、没有DDoS，只是一次例行割接里的一个配置错误，加上一套「对节点故障免疫、对全网拥塞裸奔」的架构。它与2022年7月加拿大Rogers全国断网几乎同期发生、同为变更类根因，两起事故隔着太平洋互相印证：**在云化、集中化的现代电信网里，最大的风险不再是设备坏，而是「你以为的例行操作」+「你没设计过的故障形态」。** 61小时25分钟、约3915万用户、百亿日元量级的善后成本——这条事故链上的每一环，都值得写进每一份割接方案的风险章节里。 ## 参考来源 1. [The July 2 Communication Failure and Our Response — KDDI官方事故专页](https://www.kddi.com/english/important-news/20220729_01/) — 故障时长、影响规模、根因链路、整改措施与返还方案的一手数据 2. [Administrative Guidance to KDDI Corporation and Okinawa Cellular — 日本总务省](https://www.soumu.go.jp/main_sosiki/joho_tsusin/eng/pressrelease/2022/8/03_02.html) — 2022年8月3日行政指导官方公告 3. [PDF About the Communication Failure on July 2, 2022 — KDDI综合报告2022](https://www.kddi.com/extlib/files/english/corporate/ir/ir-library/sustainability-integrated-report/2022-online/pdf/kddi_sir2022_e06.pdf) — 61小时25分钟与2278万语音用户的官方测算口径 4. [KDDI to pay $1.50 to 35.89 mil users — 每日新闻英文版](https://mainichi.jp/english/articles/20220729/p2a/00m/0bu/016000c) — 赔偿方案报道 5. ["Equipment failure" causes huge telecoms outage in Japan — Data Center Dynamics](https://www.datacenterdynamics.com/en/news/equipment-failure-causes-huge-telecoms-outage-in-japan-impacting-39-million-mobile-lines/) — 26万企业客户、物流/ATM等社会面影响 6. [KDDI network goes down for two days after maintenance failure — Light Reading](https://www.lightreading.com/business-management/kddi-network-goes-down-for-two-days-after-maintenance-failure) — 「重大事故」认定标准（3万用户/1小时）与新电信法制度背景 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。