2024年2月22日凌晨,美国三大移动运营商之一的AT&T发生全国性断网:约十二个小时里,数以千万计用户的电话、短信和数据业务失灵,手机集体变成“SOS仅限紧急呼叫”,多地911呼入受阻。AT&T事后确认,事故源于网络扩容作业中对一套流程的错误应用与执行,并非网络攻击。本文以AT&T官方声明与FCC的监管动作为主轴,结合当年多方公开报道,完整复盘这起事故的时间线、根因链条、影响面与处置过程,并提炼五条对国内核心网与无线运维同样适用的经验。
2024年2月22日是周四,美国东部时间凌晨四点前后,Downdetector上的故障报告曲线开始抬头。最早的一批报告来自中部时区——运营商惯用的凌晨低话务窗口,恰恰从这里开始出事。到了早上八九点的通勤早高峰,曲线冲上全天顶点:峰值时段的故障投诉超过7.3万起(Downdetector口径)。要理解这个数字的分量,得知道Downdetector统计的是主动提交报告的用户,业内通常认为实际受影响规模是投诉量的数十倍——也就是说,这天早上数千万美国人的手机“没了”。
用户看到的症状高度一致:状态栏信号格消失,iPhone右上角只剩一个“SOS”字样,安卓手机显示“无服务”。电话打不出、短信发不出、数据连不上。受影响的不仅是AT&T自有品牌用户,其预付费子品牌Cricket的用户也在大规模报告故障——这符合预期,Cricket与AT&T主网共用核心网。据当时报道,走AT&T网的虚拟运营商用户同样中招,而面向公共安全的FirstNet也有受影响的报告出现。
这里要先排除一个常见误会:这次不是本栏目之前写过的那种“仅限紧急呼叫”终端侧问题——不是TAC白名单、不是IMEI报备错漏。手机本身完好,是网络侧整体失联:终端发出去的注册请求,网络没有应答,或者应答本身就是拒绝。手机判断“这张网我上不去了”,于是退到SOS模式,拼命搜别的频段、别的制式,找一切能打紧急电话的路径。
另一个值得注意的细节是:同一时间,Verizon和T-Mobile的用户只有零星报告。这说明故障被干净地封闭在AT&T一张网内——不是互联对通故障,不是公共信令面问题,就是AT&T自己的网络出了事。这个“边界清晰”的特征,后来也成了快速定位方向的关键线索。
把当天的关键节点拉成一条线,事故的形状非常典型:起于凌晨窗口,炸于早高峰,拖到午后才收尾。
timeline
title 2月22日断网十二小时
2月21日深夜 : 凌晨作业窗口开启
2月22日凌晨4点 : 中部时区投诉攀升
早高峰8点 : 投诉破7.3万 : 手机集体变SOS
上午 : 多地911呼入受阻 : 官方建议改Wi-Fi通话
下午3点前后 : AT&T宣布服务恢复
当晚 : 初步排除网络攻击
数日后 : FCC立案调查 : 官方公布根因表述
| 项目 | 内容 |
|---|---|
| 事故时间 | 2024年2月22日,约凌晨4点至下午3点(美东时间) |
| 持续时长 | 约12小时,早高峰为最严重时段 |
| 影响范围 | AT&T全美无线网络,语音、短信、数据全面受影响 |
| 波及用户 | AT&T无线用户规模超1.25亿(据CNN等媒体援引公司口径),当日实际受影响数以千万计 |
| 峰值投诉 | Downdetector超7.3万起(早高峰) |
| 官方根因 | 网络扩容作业中,对一套流程的错误应用与执行 |
| 是否攻击 | AT&T当晚初步排除网络攻击 |
| 监管动作 | FCC立案调查;事后出现多起集体诉讼(据公开报道) |
两个时间点特别值得琢磨。一是凌晨4点:这是全球运营商最爱用的作业窗口,话务最低、割接最方便——但监控人手最薄、人因差错率最高,等第一个自然波峰(早高峰)把问题“测”出来时,故障已经憋了四五个小时。二是下午3点:从发现到恢复拖了近半天,说明这不是简单重启能解决的故障,恢复过程大概率涉及逐区域回滚配置、逐批验证网元,这正是配置级事故的恢复节奏。
事故当天,最耸动的猜测是“又被黑了”——那几年美国电信网确实是攻击重灾区。但AT&T当晚就做了初步定性,并在2月27日前后给出正式结论,官方声明的措辞大意是:事故是由于网络扩容过程中,对一套流程的应用与执行出现错误所致,与网络攻击无关。这句话后来被路透社等媒体广泛引用,也是FCC立案后AT&T给出的正式口径(官方声明发布于AT&T Newsroom,站内检索2024年2月22日相关声明可定位原文;FCC的调查动作见fcc.gov)。
“流程应用与执行错误”这九个字,分量比看起来重得多。它排除了三种常见嫌疑:不是硬件单点损坏(那叫设备故障),不是软件版本缺陷(那叫bug),不是外部攻击(那叫入侵)。它指向的是第四种、也是最难防的一种:变更作业中“人-流程-工具”的组合失败——该执行的校验没执行,或者一套本该在局部生效的流程,被错误地应用到了全网。
AT&T没有公开具体是哪个网元、哪条配置出错,出于商业与安全考虑,这类细节通常不会写进公开声明。但按移动网络的标准架构,故障链条可以合理重建如下(以下为行业通行架构下的推断,非官方披露):
flowchart TD
A["凌晨扩容作业窗口"] --> B["配置流程被错误执行"]
B --> C["核心网网元异常退出"]
C --> D["终端注册与呼叫失败"]
D --> E["全网话音数据中断"]
E --> F["911呼入受阻"]
E --> G["用户转向Wi-Fi通话"]
C --> H["回滚与逐批恢复"]
H --> I["午后基本复原"]
在这条链上,最关键的是第三环:核心网网元异常退出。移动用户上网打电话,第一步是附着与注册——终端要通过无线接入网找到MME/AMF,完成鉴权、建立默认承载。如果扩容作业中一批承担注册/会话职能的核心网网元被错误配置踢出服务池,或者路由/域名解析指向了错误地址,结果就是全网终端“呼叫无应答”,表现恰恰就是2月22日早上的样子:打不通、注不上、彻底无服务。而Wi-Fi通话在部分场景仍可用(下节详述),则反过来暗示故障面主要压在蜂窝接入与注册链路,IMS话音域尚有余量。
真正值得每个运维人后背发凉的,是爆炸半径为什么会是“全国”。现代核心网早已池化:一套AMF池服务大半个国家,配置同源下发、版本统一管理、工具链全网共用。这套架构平时是优点——扩容快、运维省、用户体验一致;出事时就是放大器——一处配置错误,可以借着同源下发管道瞬间铺满全网。凌晨四点按下那个回车的人,未必知道自己的操作半径是一亿两千万人。
断网十二小时,对多数人是“一天不方便”,但对另一群人是生死问题——需要打911的人。
当天上午,全美多地应急调度中心(PSAP)报告无法接听AT&T用户的呼入,一些地方政府应急部门在社交平台发布公告,建议市民改用固话、改用其他运营商手机,或者用Wi-Fi通话。旧金山应急管理部门的提示被媒体广泛引用。据当时报道,纽约、亚特兰大等大城市也是故障报告最集中的区域。美国每年911呼叫量以亿计,移动呼叫早已是绝对主力——无线网整体失联,等于把这个国家最关键的应急通道切掉了一大半。
这暴露出一个平时没人捅破的事实:911的可靠性上限,就是承载它的那张移动网的下限。运营商在3GPP体系里给紧急呼叫留了很多优先通道——紧急呼叫注册优先、专用QCI/QoS、受限服务态下仍可发起紧急呼叫——但这些机制全都建立在一个前提上:网络本体还活着。注册面整体宕掉的时候,所有优雅的紧急呼叫保障一起失效,终端能做的只剩下满世界搜网、切卫星、切Wi-Fi。
对运营商,这里的教训是制度性的。美国FCC自桑迪飓风之后逐步收紧了对运营商网络可靠性与911中断通报的要求,重大故障必须向监管报告并说明紧急呼叫影响。2·22事故后FCC随即立案,911影响正是调查重点之一。对网络设计者,更实际的动作是三件事:接入侧降级预案(注册面瘫痪时,紧急呼叫能否走残余容量优先接入)、与PSAP的带外联络通道(公众网断了,运营商和调度中心之间还能不能通)、面向公众的降级广播(这次各地应急部门靠社交媒体喊话,本质上是临场发挥而不是预案)。事后AT&T及多家律所之间还出现了集体诉讼(据公开报道),911时段的故障在监管与司法两端都会被加倍计价。
这次事故里最戏剧性的画面,是两张网互为备份:蜂窝网死了,家庭宽带还活着。大量用户的Wi-Fi通话在断网期间正常工作,这也是各地应急部门把“打开Wi-Fi通话”写进公告的原因。
Wi-Fi通话(VoWiFi)能救场,原理在于它走的路和蜂窝接入完全不同。蜂窝态下,终端经基站、回传进入核心网;VoWiFi态下,终端把信令和话音装进IPsec隧道,经家庭宽带直接打到运营商核心网的ePDG网关——绕开了无线接入网和一部分接入注册链路。当天不少用户反馈Wi-Fi通话可用,说明故障点没有(或者说没有完全)覆盖到ePDG之后的IMS域。一张全国性断网里还有半张网活着,这半张网救了很多人。
但VoWiFi的兜底能力有三条边界,必须说清楚:
对普通用户,这次事故值回票价的经验就是三个动作:Wi-Fi通话提前开启(iPhone在“设置-电话”,安卓在SIM卡设置里);双运营商双卡,主卡故障时副卡可能就是唯一通道;知道卫星紧急SOS怎么用——断网当天,iPhone 14及之后机型用户靠卫星SOS发求救消息的案例被广泛报道,这是2022年之后美国移动网络新增的真实冗余。
把2·22放进本栏目复盘过的断网序列里看,规律会更加清楚:
| 维度 | Rogers 2022年7月 | KDDI 2022年7月 | AT&T 2024年2月 |
|---|---|---|---|
| 规模 | 超1200万用户 | 最多约4357万人 | 用户基数超1.25亿,实际影响数以千万计 |
| 时长 | 约19小时 | 语音最长约61小时 | 约12小时 |
| 根因类型 | 核心网设备故障引发路由撤回与全网过载 | 维护割接中路由信息异常 | 扩容作业中流程错误执行 |
| 共同点 | 变更/作业窗口出事 | 变更/作业窗口出事 | 变更/作业窗口出事 |
| 应急短板 | 911大面积失守 | 110/119受阻 | 911受阻 |
(数据分别来自各家公开复盘与监管报告,细节以各官方最终调查为准。)
三张网、三个国家、三种具体根因,但触发场景一模一样:都是在变更或作业窗口里出的事。这不是巧合——生产网络的日常是稳定的,唯一会大规模改变它状态的,就是变更本身。断网事故的"top 1"根因从来不是太阳黑子,是人决定要动网的那一瞬间。
第一,把扩容当割接管。 很多团队的变更管控等级里,“割接”是重特大变更,“扩容”“参数调整”“流程优化”是日常动作,审批一路绿灯。2·22证明,决定爆炸半径的不是作业名称,而是作业触到的深度——碰到注册面、路由面、同源配置管道,扩容和割接是同一级风险。变更分级应该按“最坏情况下影响多少用户”来定,而不是按工单标题来定。
第二,给同源配置装“保险丝”。 池化与集中管控是把双刃剑,配置下发管道必须有灰度机制:先切一个POC/一个地市/一个池成员,观察期不缩短,再铺开。同时全网配置要保留已验证回滚点,且回滚演练要真做——这次恢复拖了近半天,很可能就卡在“配置错了,但全量回滚本身也是一次高危变更”的两难里。回滚预案没彩排过的网络,等于没有回滚预案。
第三,凌晨窗口要重新定价。 低话务窗口的真实代价是:值班人手最薄、复核最弱、而人因差错率恰好在深夜到凌晨最高。作业窗口的选择应该平衡两个风险——业务影响风险与人因差错风险,高危变更宁可挪到白天有双岗复核的时段做,用短时的容量冗余换全网的配置安全。
第四,911按“网络全死”设计。 紧急呼叫保障的规划假设,不能是“网络可用但拥塞”,必须是“网络主体不可用”。接入侧要有降级态下的紧急呼叫残存方案,运营商与应急调度中心之间要有独立于公众网的通报通道,面向用户的降级指引(Wi-Fi通话、卫星SOS)要有预案化的发布路径。这三件事在断网当天的美国,全是靠社交媒体临场完成的。
第五,沟通节奏本身是恢复力的一部分。 复盘这次事故的对外处置:数小时内首次发声、当晚初步排除网络攻击、一周内给出根因结论、监管随即立案进入正轨。对比一些拖到第二天还在“正在排查”的事故,AT&T的沟通至少守住了两条底线——不让谣言定义事故、不让我猜你猜消耗公信力。重大故障里,“说得清”和“修得快”同样是能力,前者还直接影响监管与司法端的后续成本。
2·22事故最让人警醒的地方,在于它不涉及攻击、不涉及战争、不涉及罕见天灾——就是一次再普通不过的扩容作业,配上一个被错误执行的流程,再加上一套同源直达全国的配置管道。现代核心网把效率推到极致的同时,也把“一次错误的半径”推到了极致。网络越集中,流程就越要当代码管:有版本、有校验、有灰度、有回滚、有彩排。毕竟用户可以原谅断网,但很难原谅“断网的十二小时里,911也打不通”。
注:以上为各信源入口链接,站内深链随时间调整,按标题关键词检索即可定位原文;本文所引数据均以2024年2月事故发生时的多方公开报道与官方声明为准。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
