# 一次扩容，撂倒AT&T全网：911打不通的12小时 **概述**：2024年2月22日凌晨，美国第三大移动运营商AT&T的移动网发生全国性语音中断，数千万用户手机变成“无服务”，911报警电话大面积受阻，FBI和国土安全部一度介入排查网络攻击。AT&T事后定性：事故源于一次网络扩容中的“流程执行错误”，不是黑客攻击。本文以FCC公开调查结论与AT&T官方声明为解读主轴（见文末参考来源），复盘这次美国近年来最严重的运营商断网事故之一：时间线、根因、恢复期的“二次翻车”，以及值得每个核心网工程师记住的变更管理教训。 ## 目录 - 一、事故全景：凌晨三点，全美“无服务” - 二、时间线：从凌晨瘫痪到午后恢复 - 三、根因：一次“没按规矩来”的网络变更 - 四、次生灾害：恢复期的注册风暴 - 五、影响评估与处置：5美元补偿与FCC立案 - 六、运维视角的五条教训 - 七、结语 ## 一、事故全景：凌晨三点，全美“无服务” 2024年2月22日凌晨（美东时间），AT&T移动网在全美范围内出现大规模业务中断。用户手机信号格直接消失，屏幕显示“无服务”或"SOSSOS"——这意味着连紧急呼叫通道都不可用。据CNN Business当天报道，多个地方政府发布公告，通报AT&T用户无法拨打911报警电话，**即使手机带有卫星SOS功能的机型也无法呼救**；学校、医院、交警部门纷纷在社交平台上提醒公众改用固话或他人手机报警。 这次故障的蹊跷之处在于“业务面”的不对称：语音通话几乎全阻，部分用户的短信仍可收发，数据业务在多数区域基本可用——刷社交媒体能刷，但打不出一通电话。这种“能上网不能打电话”的故障形态，对老网优来说是一个强烈的信号：问题出在**信令面**，而不是承载面。终端连不上IMS、完不成VoLTE注册，语音自然全阻；而数据业务走的分组域路径未受根本性影响。 故障规模有多大？据多家美媒援引故障监测平台Downdetector的统计，当天上午高峰期用户报告数超过7万份，创下该平台近年电信类故障报告的峰值之一。受影响的不只是AT&T自有品牌用户——据美媒报道，AT&T旗下预付费品牌Cricket Wireless以及租用AT&T网络的MVNO用户同样大面积断网。从网络层级看，这是**核心网级别的全国性故障**，而非某个区域无线侧的局部问题。 更戏剧性的一幕在随后几个小时发生：由于事发突然、影响面巨大，**FBI和国土安全部（DHS）迅速介入，排查这是否是一次网络攻击**。这个细节值得玩味——2024年初正是“盐台风”潜伏美国电信网的敏感时间窗（该事件数月后才曝光），监管方对“运营商全国断网=被黑”的条件反射，恰恰说明了当时整个行业的紧张程度。当天上午AT&T紧急澄清：初步判断不是网络攻击。 ## 二、时间线：从凌晨瘫痪到午后恢复 下表按公开报道梳理事故全过程。需要说明：AT&T与FCC均未公布精确到分钟的完整时间轴，个别节点以“据报道”标注，读者引用时请注意口径。 | 时间（2024年） | 事件 | 依据 | |---|---|---| | 2月22日 凌晨3-4时（美东） | 全美范围语音业务开始大面积中断，终端显示无服务或仅剩SOS | 据CNN等美媒报道 | | 22日 清晨至上午 | 911报警电话大面积受阻；多个地方政府发布替代报警指引；FBI、DHS介入排查网络攻击可能 | CNN Business报道、地方政府通报 | | 22日 上午 | AT&T首次公开回应：非网络攻击，系网络扩容中“流程执行错误”；建议用户改用WiFi通话 | AT&T官网声明 | | 22日 午后 | AT&T宣布移动网络服务恢复，实际恢复过程延续至傍晚，部分用户反映仍有反复 | CNN报道 | | 2月25日 | AT&T宣布向受影响用户提供每账户5美元话费补偿 | 美联社 | | 3月7日 | FCC宣布对事故正式立案调查 | 华盛顿邮报 | | 2024年下半年（据报道） | FCC方面公布调查结论：变更未遵循自身流程、恢复期出现次生拥塞；美媒披露故障期间超9200万通呼叫受阻、其中约2.5万通为911报警电话 | 据美媒报道，本文未能直接核对FCC原文 | 需要强调的是最后一行。9200万通受阻呼叫、2.5万通受阻911这两个数字，是FCC调查报告发布后由路透、Ars Technica等媒体披露的口径，本文撰写时未能直接核对FCC原始文件，**请以FCC官网公告为准**。但即便打个对折，这也是一次公共安全级别的事故：对一个昼夜有上亿通呼叫的网络来说，任何一个小时的语音全阻，都意味着成千上万次呼救失败。 ## 三、根因：一次“没按规矩来”的网络变更 AT&T在官网声明（AT&T Network Update）中的原话是：事故源于网络扩容过程中“**应用程序与执行流程的错误**”（an incorrect process used as we were expanding our network），并明确排除网络攻击。ABC News的报道将其概括为“一次时机不当的软件更新”。 翻译成运维语言：这是一次**计划内变更引发的计划外全阻**。 从公开信息看，故障链条大致如下：AT&T在核心网侧实施扩容变更，变更过程执行出错，导致核心网网元之间的信令交互出现异常。移动网里，终端的每次开机、跨区移动、周期性位置更新，都要与归属网络完成鉴权与注册——这一步走不通，终端就“不存在”于网络里，VoLTE注册建立不起来，语音和短信随之失效。而数据面与信令面的耦合程度较低，所以出现“能刷网页、打不出电话”的典型信令面故障形态。 具体是哪个网元、哪家设备商的产品，AT&T至今没有公开，FCC公开结论也未点名。外界的分析只能基于症状反推：故障瞬间全网生效、语音信令全阻，指向的是**集中部署的核心网控制面网元**（如移动性管理、归属用户数据的鉴权与注册处理环节），而不是无线侧。这也符合AT&T“扩容”的说法——扩容动作通常发生在核心网机房或云化资源池里，而不是几百万个基站上。 真正让这件事从“故障”升级为“案例”的，是FCC调查给出的定性。据美媒对FCC调查结论的报道，FCC认定：**AT&T在实施这次变更时没有遵循自己制定的变更管理流程**。也就是说，不是设备缺陷，不是容量不足，不是外部攻击，而是“自己的规矩自己没执行”。做过大网割接的人都知道这句话的分量：运营商的变更管理流程（评审、演练、双人复核、灰度、回滚预案）是几十年故障教训换来的，每一条背后都是真实的全网事故。流程被跳过的那一刻，风险敞口就已经打开了。 另一个关键细节是：**恢复比中断更难**。FCC调查结论与多家行业媒体的报道都提到，故障修复、网络回切之后，恢复过程被“次生拥塞”拖长了——这正是下一节要展开的注册风暴。 ## 四、次生灾害：恢复期的注册风暴 大网故障处置里有一条残酷的经验：**把网修好，不等于业务恢复**。 AT&T这次事故里，当核心网信令修复、网络重新可用时，数千万台终端同时尝试重新注册——过去几个小时里反复重试被挂起的注册请求、被用户手动开关飞行模式的终端、以及定时器到期集中触发的重attach，在同一时刻涌向核心网信令面。信令面的处理能力是按“正常注册速率+冗余”设计的，瞬间涌入的注册请求远超这个水位，于是刚恢复的网络再次拥塞，部分用户的注册再次失败，然后再次重试……恢复过程被显著拖长。据美媒报道，这也是FCC调查中点名的问题之一。 这个故障传导链可以用一张图概括： ```mermaid flowchart TD A["凌晨变更窗口：核心网设备扩容"] --> B["变更流程执行出错"] B --> C["核心网网元间信令会话异常"] C --> D["终端VoLTE注册与位置更新失败"] D --> E["语音业务大范围中断 含911"] E --> F["网络侧定位问题并回切修复"] F --> G["全网终端集中重试注册"] G --> H["恢复期信令风暴 拖长恢复时间"] H --> I["午后业务逐步恢复"] ``` 这不是AT&T独有的坑。2022年7月日本KDDI的大规模断网（影响约四千万用户、部分业务中断最长约86小时）中，恢复阶段同样发生了终端集中重注册导致的二次拥塞，KDDI甚至罕见地公开呼吁用户“不要重启手机”。恢复期拥塞在核心网运维里有成熟的应对手段，可惜平时最容易被忽视： 1. **信令面过载保护**：对注册类信令按优先级限流（如优先保障紧急呼叫终端与高价值业务），让拥塞“有秩序地排队”而不是“无秩序地塌方”； 2. **灰度恢复**：修复后不一次性放开全网，而是分区域、分批次恢复接入，把注册洪峰削平； 3. **用户引导**：事故中同步引导用户“不要反复开关飞行模式”——每一次手动重启都会在洪峰上再加一根柴。AT&T当天的引导是“改用WiFi通话”，方向没错，但对“不要做什么”说得太少。 ## 五、影响评估与处置：5美元补偿与FCC立案 复盘一次重大故障，除了技术根因，还要看它的**处置账本**。 **对用户**：语音全阻当天，AT&T的应对是建议用户开启WiFi通话、使用短信沟通。2月25日，AT&T宣布向受影响客户提供每账户5美元话费补偿（据美联社报道）。5美元大约相当于用户两三天的月费摊销——比起KDDI在2022年事故后按电信事业法强制执行的“基本费日割返还+全民补偿积分”，这个数字被美国媒体普遍批评为“象征性大于实质性”。不过也要客观说：AT&T的故障在当日内恢复，持续时长远短于KDDI的86小时，补偿体量不同有一定合理性。 **对监管**：这次事故踩中了美国监管的两根线。其一是**公共安全线**：911受阻是 FCC 最敏感的红线，事故直接触发联邦层面关注，FBI与DHS先期排查网络攻击、FCC随后于3月7日正式立案调查（据华盛顿邮报报道）。其二是**事故报告合规线**：美国FCC规则对重大通信故障设有强制报告义务（Part 4规则），事故规模越大、涉及911越多，报告时限与内容要求越严。据报道，FCC在调查结论中对AT&T的故障报告与披露过程也提出了批评——这在重大故障处置中很常见：**事故本身的伤害，往往因为报告迟缓和信息不透明而被监管加倍计价**。 **对行业**：这次事故给全美运营商上了一课。同一天，T-Mobile、Verizon也出现了小范围的跨网呼叫异常报告——AT&T网内注册失败导致网间互通话务异常，这是大网故障典型的“外溢效应”。对一个高度互联的通信网来说，任何一家的核心网都不是孤岛。 ## 六、运维视角的五条教训 把这次事故翻译成可以在自己网络上落地的动作，我认为有五条： **第一，变更管理的“不可跳过项”要系统化守住。** FCC的定性是“没按自己的流程来”。变更评审、同构环境预演、双人复核、低峰窗口——这些环节在KPI压力下最容易被“这次改动很简单”绕过。本次事故的扩容动作本身并不罕见，罕见的是它以全网语音为代价暴露了流程执行的马虎。建议把“变更合规检查单”做成硬门槛：检查单没走完，工单系统不允许进入实施状态。 **第二，任何变更都要预答一个问题：爆炸半径多大？** 全国性核心网变更，哪怕理论上是“增容不动存量”，也要回答：如果变更出错，影响面是什么？回滚动作是什么？回滚要多久？这次事故里“扩容”演变成“全阻”，说明爆炸半径评估没有做到位——或者做了，但被跳过了。 **第三，信令面要有独立的过载保护设计。** 语音注册、鉴权、位置更新这类信令，是网络的“心跳”，其可用性设计标准应当高于数据面。限流、优先级队列、注册请求整形，这些机制要在平时演练过，而不是故障时现想。 **第四，把“恢复方案”当成“故障方案”的一半来准备。** 从注册风暴的教训出发，重大故障的应急预案里应包含：恢复顺序与灰度策略、用户引导口径（明确“不要做什么”）、以及恢复期KPI的守护阈值。修网容易，恢复难。 **第五，事故沟通与监管报告要纳入预案演练。** 从FBI介入排查网络攻击，到FCC立案追报告合规，美国监管对此类事故的处置链条非常完整。重大故障发生时，对监管的报告时限、对911中心的通报、对公众的口径，都应该是演练过的动作，而不是临时起草。 这五条可以收敛成一张变更守护闭环图： ```mermaid flowchart TD A["变更申请与方案评审"] --> B["同构环境演练验证"] B --> C["低峰窗口实施"] C --> D["灰度小范围生效"] D --> E["KPI守护观测"] E -->|指标劣化| F["自动回滚并冻结变更"] E -->|指标正常| G["逐步放量至全网"] F --> H["复盘与流程修订"] G --> H ``` 闭环的最后一步“复盘与流程修订”最容易被省略，但它恰恰是把单次事故转化为组织能力的关键。AT&T在事后声明中表示已加强流程管控，FCC的调查结论也推动全行业重新审视变更管理——从这个意义上说，9200万通打不出去的电话，算是替整个行业交了一次昂贵的学费（该数字为媒体披露口径，特此再注一次）。 ## 七、结语 回看这次事故，最讽刺的地方在于：击倒全美第三大移动运营商的，不是黑客，不是地震，不是光缆被挖断，而是一次再普通不过的“网络扩容”。AT&T不缺技术，不缺预算，缺的只是在那个凌晨，把既定流程一步不落地执行完的纪律。 对通信运维来说，这类故事的价值从来不是吃瓜。每一次全网级故障都在重复同一个命题：现代电信网的可靠性，不取决于最强的那个组件，而取决于**最容易被省略的那一步流程**。下一次，当你在割接窗口里面对“跳过预检吧，时间不多了”的提议时，想想2月22日凌晨那几千万块黑掉的屏幕——那可能就是省下来的那十分钟，真实的价格。 ## 参考来源 1. [AT&T - Wikipedia（2024 Outage 章节及其引注）](https://en.wikipedia.org/wiki/AT%26T) — 本文直接抓取核对的主时间线：事故概述、911受阻、FBI/DHS介入、官方回应、补偿与FCC立案，及其引用的WaPo/CNN/AP报道条目 2. [AT&T Network Update（AT&T官方声明，about.att.com）](https://about.att.com/) — 故障定性的原始出处：扩容过程中流程执行错误、排除网络攻击（原文标题经维基百科引注核对） 3. [FCC opens formal investigation into massive AT&T outage（The Washington Post，2024-03-07）](https://www.washingtonpost.com/) — FCC正式立案调查的报道 4. [AT&T will give $5 to customers hit by cellphone network outage（AP，2024-02-25）](https://apnews.com/) — 每账户5美元补偿方案 5. [AT&T outage caused by software update, company says（ABC News）](https://abcnews.go.com/) — “软件更新/流程执行错误”定性的媒体佐证 > 说明：2-5条为本次抓取中经维基百科引注核对的原始出处，链接为对应媒体/官方主站；深链以维基引注为准。FCC调查报告中“9200万通受阻呼叫”等精确数字为美媒报道口径，请以FCC官网原文为准。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。