首页 › tech › 一次扩容,撂倒AT&T全网

一次扩容,撂倒AT&T全网:911打不通的12小时

概述:2024年2月22日凌晨,美国第三大移动运营商AT&T的移动网发生全国性语音中断,数千万用户手机变成“无服务”,911报警电话大面积受阻,FBI和国土安全部一度介入排查网络攻击。AT&T事后定性:事故源于一次网络扩容中的“流程执行错误”,不是黑客攻击。本文以FCC公开调查结论与AT&T官方声明为解读主轴(见文末参考来源),复盘这次美国近年来最严重的运营商断网事故之一:时间线、根因、恢复期的“二次翻车”,以及值得每个核心网工程师记住的变更管理教训。

目录

一、事故全景:凌晨三点,全美“无服务”

2024年2月22日凌晨(美东时间),AT&T移动网在全美范围内出现大规模业务中断。用户手机信号格直接消失,屏幕显示“无服务”或"SOSSOS"——这意味着连紧急呼叫通道都不可用。据CNN Business当天报道,多个地方政府发布公告,通报AT&T用户无法拨打911报警电话,即使手机带有卫星SOS功能的机型也无法呼救;学校、医院、交警部门纷纷在社交平台上提醒公众改用固话或他人手机报警。

这次故障的蹊跷之处在于“业务面”的不对称:语音通话几乎全阻,部分用户的短信仍可收发,数据业务在多数区域基本可用——刷社交媒体能刷,但打不出一通电话。这种“能上网不能打电话”的故障形态,对老网优来说是一个强烈的信号:问题出在信令面,而不是承载面。终端连不上IMS、完不成VoLTE注册,语音自然全阻;而数据业务走的分组域路径未受根本性影响。

故障规模有多大?据多家美媒援引故障监测平台Downdetector的统计,当天上午高峰期用户报告数超过7万份,创下该平台近年电信类故障报告的峰值之一。受影响的不只是AT&T自有品牌用户——据美媒报道,AT&T旗下预付费品牌Cricket Wireless以及租用AT&T网络的MVNO用户同样大面积断网。从网络层级看,这是核心网级别的全国性故障,而非某个区域无线侧的局部问题。

更戏剧性的一幕在随后几个小时发生:由于事发突然、影响面巨大,FBI和国土安全部(DHS)迅速介入,排查这是否是一次网络攻击。这个细节值得玩味——2024年初正是“盐台风”潜伏美国电信网的敏感时间窗(该事件数月后才曝光),监管方对“运营商全国断网=被黑”的条件反射,恰恰说明了当时整个行业的紧张程度。当天上午AT&T紧急澄清:初步判断不是网络攻击。

二、时间线:从凌晨瘫痪到午后恢复

下表按公开报道梳理事故全过程。需要说明:AT&T与FCC均未公布精确到分钟的完整时间轴,个别节点以“据报道”标注,读者引用时请注意口径。

时间(2024年) 事件 依据
2月22日 凌晨3-4时(美东) 全美范围语音业务开始大面积中断,终端显示无服务或仅剩SOS 据CNN等美媒报道
22日 清晨至上午 911报警电话大面积受阻;多个地方政府发布替代报警指引;FBI、DHS介入排查网络攻击可能 CNN Business报道、地方政府通报
22日 上午 AT&T首次公开回应:非网络攻击,系网络扩容中“流程执行错误”;建议用户改用WiFi通话 AT&T官网声明
22日 午后 AT&T宣布移动网络服务恢复,实际恢复过程延续至傍晚,部分用户反映仍有反复 CNN报道
2月25日 AT&T宣布向受影响用户提供每账户5美元话费补偿 美联社
3月7日 FCC宣布对事故正式立案调查 华盛顿邮报
2024年下半年(据报道) FCC方面公布调查结论:变更未遵循自身流程、恢复期出现次生拥塞;美媒披露故障期间超9200万通呼叫受阻、其中约2.5万通为911报警电话 据美媒报道,本文未能直接核对FCC原文

需要强调的是最后一行。9200万通受阻呼叫、2.5万通受阻911这两个数字,是FCC调查报告发布后由路透、Ars Technica等媒体披露的口径,本文撰写时未能直接核对FCC原始文件,请以FCC官网公告为准。但即便打个对折,这也是一次公共安全级别的事故:对一个昼夜有上亿通呼叫的网络来说,任何一个小时的语音全阻,都意味着成千上万次呼救失败。

三、根因:一次“没按规矩来”的网络变更

AT&T在官网声明(AT&T Network Update)中的原话是:事故源于网络扩容过程中“应用程序与执行流程的错误”(an incorrect process used as we were expanding our network),并明确排除网络攻击。ABC News的报道将其概括为“一次时机不当的软件更新”。

翻译成运维语言:这是一次计划内变更引发的计划外全阻。

从公开信息看,故障链条大致如下:AT&T在核心网侧实施扩容变更,变更过程执行出错,导致核心网网元之间的信令交互出现异常。移动网里,终端的每次开机、跨区移动、周期性位置更新,都要与归属网络完成鉴权与注册——这一步走不通,终端就“不存在”于网络里,VoLTE注册建立不起来,语音和短信随之失效。而数据面与信令面的耦合程度较低,所以出现“能刷网页、打不出电话”的典型信令面故障形态。

具体是哪个网元、哪家设备商的产品,AT&T至今没有公开,FCC公开结论也未点名。外界的分析只能基于症状反推:故障瞬间全网生效、语音信令全阻,指向的是集中部署的核心网控制面网元(如移动性管理、归属用户数据的鉴权与注册处理环节),而不是无线侧。这也符合AT&T“扩容”的说法——扩容动作通常发生在核心网机房或云化资源池里,而不是几百万个基站上。

真正让这件事从“故障”升级为“案例”的,是FCC调查给出的定性。据美媒对FCC调查结论的报道,FCC认定:AT&T在实施这次变更时没有遵循自己制定的变更管理流程。也就是说,不是设备缺陷,不是容量不足,不是外部攻击,而是“自己的规矩自己没执行”。做过大网割接的人都知道这句话的分量:运营商的变更管理流程(评审、演练、双人复核、灰度、回滚预案)是几十年故障教训换来的,每一条背后都是真实的全网事故。流程被跳过的那一刻,风险敞口就已经打开了。

另一个关键细节是:恢复比中断更难。FCC调查结论与多家行业媒体的报道都提到,故障修复、网络回切之后,恢复过程被“次生拥塞”拖长了——这正是下一节要展开的注册风暴。

四、次生灾害:恢复期的注册风暴

大网故障处置里有一条残酷的经验:把网修好,不等于业务恢复。

AT&T这次事故里,当核心网信令修复、网络重新可用时,数千万台终端同时尝试重新注册——过去几个小时里反复重试被挂起的注册请求、被用户手动开关飞行模式的终端、以及定时器到期集中触发的重attach,在同一时刻涌向核心网信令面。信令面的处理能力是按“正常注册速率+冗余”设计的,瞬间涌入的注册请求远超这个水位,于是刚恢复的网络再次拥塞,部分用户的注册再次失败,然后再次重试……恢复过程被显著拖长。据美媒报道,这也是FCC调查中点名的问题之一。

这个故障传导链可以用一张图概括:

flowchart TD
    A["凌晨变更窗口:核心网设备扩容"] --> B["变更流程执行出错"]
    B --> C["核心网网元间信令会话异常"]
    C --> D["终端VoLTE注册与位置更新失败"]
    D --> E["语音业务大范围中断 含911"]
    E --> F["网络侧定位问题并回切修复"]
    F --> G["全网终端集中重试注册"]
    G --> H["恢复期信令风暴 拖长恢复时间"]
    H --> I["午后业务逐步恢复"]

这不是AT&T独有的坑。2022年7月日本KDDI的大规模断网(影响约四千万用户、部分业务中断最长约86小时)中,恢复阶段同样发生了终端集中重注册导致的二次拥塞,KDDI甚至罕见地公开呼吁用户“不要重启手机”。恢复期拥塞在核心网运维里有成熟的应对手段,可惜平时最容易被忽视:

  1. 信令面过载保护:对注册类信令按优先级限流(如优先保障紧急呼叫终端与高价值业务),让拥塞“有秩序地排队”而不是“无秩序地塌方”;
  2. 灰度恢复:修复后不一次性放开全网,而是分区域、分批次恢复接入,把注册洪峰削平;
  3. 用户引导:事故中同步引导用户“不要反复开关飞行模式”——每一次手动重启都会在洪峰上再加一根柴。AT&T当天的引导是“改用WiFi通话”,方向没错,但对“不要做什么”说得太少。

五、影响评估与处置:5美元补偿与FCC立案

复盘一次重大故障,除了技术根因,还要看它的处置账本。

对用户:语音全阻当天,AT&T的应对是建议用户开启WiFi通话、使用短信沟通。2月25日,AT&T宣布向受影响客户提供每账户5美元话费补偿(据美联社报道)。5美元大约相当于用户两三天的月费摊销——比起KDDI在2022年事故后按电信事业法强制执行的“基本费日割返还+全民补偿积分”,这个数字被美国媒体普遍批评为“象征性大于实质性”。不过也要客观说:AT&T的故障在当日内恢复,持续时长远短于KDDI的86小时,补偿体量不同有一定合理性。

对监管:这次事故踩中了美国监管的两根线。其一是公共安全线:911受阻是 FCC 最敏感的红线,事故直接触发联邦层面关注,FBI与DHS先期排查网络攻击、FCC随后于3月7日正式立案调查(据华盛顿邮报报道)。其二是事故报告合规线:美国FCC规则对重大通信故障设有强制报告义务(Part 4规则),事故规模越大、涉及911越多,报告时限与内容要求越严。据报道,FCC在调查结论中对AT&T的故障报告与披露过程也提出了批评——这在重大故障处置中很常见:事故本身的伤害,往往因为报告迟缓和信息不透明而被监管加倍计价。

对行业:这次事故给全美运营商上了一课。同一天,T-Mobile、Verizon也出现了小范围的跨网呼叫异常报告——AT&T网内注册失败导致网间互通话务异常,这是大网故障典型的“外溢效应”。对一个高度互联的通信网来说,任何一家的核心网都不是孤岛。

六、运维视角的五条教训

把这次事故翻译成可以在自己网络上落地的动作,我认为有五条:

第一,变更管理的“不可跳过项”要系统化守住。 FCC的定性是“没按自己的流程来”。变更评审、同构环境预演、双人复核、低峰窗口——这些环节在KPI压力下最容易被“这次改动很简单”绕过。本次事故的扩容动作本身并不罕见,罕见的是它以全网语音为代价暴露了流程执行的马虎。建议把“变更合规检查单”做成硬门槛:检查单没走完,工单系统不允许进入实施状态。

第二,任何变更都要预答一个问题:爆炸半径多大? 全国性核心网变更,哪怕理论上是“增容不动存量”,也要回答:如果变更出错,影响面是什么?回滚动作是什么?回滚要多久?这次事故里“扩容”演变成“全阻”,说明爆炸半径评估没有做到位——或者做了,但被跳过了。

第三,信令面要有独立的过载保护设计。 语音注册、鉴权、位置更新这类信令,是网络的“心跳”,其可用性设计标准应当高于数据面。限流、优先级队列、注册请求整形,这些机制要在平时演练过,而不是故障时现想。

第四,把“恢复方案”当成“故障方案”的一半来准备。 从注册风暴的教训出发,重大故障的应急预案里应包含:恢复顺序与灰度策略、用户引导口径(明确“不要做什么”)、以及恢复期KPI的守护阈值。修网容易,恢复难。

第五,事故沟通与监管报告要纳入预案演练。 从FBI介入排查网络攻击,到FCC立案追报告合规,美国监管对此类事故的处置链条非常完整。重大故障发生时,对监管的报告时限、对911中心的通报、对公众的口径,都应该是演练过的动作,而不是临时起草。

这五条可以收敛成一张变更守护闭环图:

flowchart TD
    A["变更申请与方案评审"] --> B["同构环境演练验证"]
    B --> C["低峰窗口实施"]
    C --> D["灰度小范围生效"]
    D --> E["KPI守护观测"]
    E -->|指标劣化| F["自动回滚并冻结变更"]
    E -->|指标正常| G["逐步放量至全网"]
    F --> H["复盘与流程修订"]
    G --> H

闭环的最后一步“复盘与流程修订”最容易被省略,但它恰恰是把单次事故转化为组织能力的关键。AT&T在事后声明中表示已加强流程管控,FCC的调查结论也推动全行业重新审视变更管理——从这个意义上说,9200万通打不出去的电话,算是替整个行业交了一次昂贵的学费(该数字为媒体披露口径,特此再注一次)。

七、结语

回看这次事故,最讽刺的地方在于:击倒全美第三大移动运营商的,不是黑客,不是地震,不是光缆被挖断,而是一次再普通不过的“网络扩容”。AT&T不缺技术,不缺预算,缺的只是在那个凌晨,把既定流程一步不落地执行完的纪律。

对通信运维来说,这类故事的价值从来不是吃瓜。每一次全网级故障都在重复同一个命题:现代电信网的可靠性,不取决于最强的那个组件,而取决于最容易被省略的那一步流程。下一次,当你在割接窗口里面对“跳过预检吧,时间不多了”的提议时,想想2月22日凌晨那几千万块黑掉的屏幕——那可能就是省下来的那十分钟,真实的价格。

参考来源

  1. AT&T - Wikipedia(2024 Outage 章节及其引注) — 本文直接抓取核对的主时间线:事故概述、911受阻、FBI/DHS介入、官方回应、补偿与FCC立案,及其引用的WaPo/CNN/AP报道条目
  2. AT&T Network Update(AT&T官方声明,about.att.com) — 故障定性的原始出处:扩容过程中流程执行错误、排除网络攻击(原文标题经维基百科引注核对)
  3. FCC opens formal investigation into massive AT&T outage(The Washington Post,2024-03-07) — FCC正式立案调查的报道
  4. AT&T will give $5 to customers hit by cellphone network outage(AP,2024-02-25) — 每账户5美元补偿方案
  5. AT&T outage caused by software update, company says(ABC News) — “软件更新/流程执行错误”定性的媒体佐证

说明:2-5条为本次抓取中经维基百科引注核对的原始出处,链接为对应媒体/官方主站;深链以维基引注为准。FCC调查报告中“9200万通受阻呼叫”等精确数字为美媒报道口径,请以FCC官网原文为准。


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入