# AT&T大断网12小时复盘：一次“退租”操作，如何放倒1.25亿台手机 **概述**：2024年2月22日凌晨，美国第二大移动运营商AT&T爆发全网级故障，语音与短信大面积全阻约12小时，波及超过1.25亿台设备，阻断超9200万通电话，其中至少2.5万次911急救呼叫失败。FCC调查认定，根因是AT&T用于编排网络作业的应用程序在执行变更时出错——并非网络攻击。2024年9月12日（整整两年前的今天），FCC公布和解令：95万美元民事罚款，外加一揽子强制整改。本文以这份监管文书为轴，按时间线拆解这场“教科书级”变更事故的完整链条，以及它给所有核心网运维团队留下的四道必答题。 ## 目录 - 一、12小时全阻：那一天发生了什么 - 二、根因：一次“退租”操作如何放倒半张网 - 三、影响评估：9200万通电话与2.5万次911 - 四、FCC的账单：95万美元与一揽子整改 - 五、工程师视角：四道防线为何集体失灵 - 六、结语 - 参考来源 ## 一、12小时全阻：那一天发生了什么 2024年2月22日是周四。对美国东部的AT&T用户来说，这一天从凌晨开始变得反常：电话拨不出去、短信发不出来，手机信号格满格，却什么也做不了。不少用户发现数据业务还能勉强用，但语音和短信——移动网络里最基础的两样东西——彻底哑了。 故障不是悄悄过去的。凌晨4点刚过，社交媒体上“AT&T挂了”的话题就开始刷屏；实时故障监控平台Downdetector上的报障曲线陡峭拉升，上午7点前后冲到峰值——**超过7.3万次报障**。据路透社报道，这是Downdetector平台当时记录到的运营商类最大规模故障，甚至一度带动T-Mobile、Verizon的报障量小幅上涨——因为大量用户试图拨打AT&T用户的电话时，听到的是“无法接通”。 对运营商而言，这种量级的全网故障，性质已经完全不同于普通的区域性中断。AT&T当天上午发布首份声明，先给了公众两颗定心丸：这不是网络攻击；我们已经定位到问题出在“用于编排网络作业的应用和流程”（the application and process that we use to orchestrate work on our network）。联邦调查局（FBI）和美国国土安全部（DHS）同步介入排查，白宫新闻秘书在当日记者会上也确认白宫在跟进此事。事后看，各方都确认**没有发现恶意攻击痕迹**——网上流传的“太阳耀斑打坏了网络”的说法，也被NOAA空间天气部门和AT&T方面双双否认。 下午3点半前后，AT&T宣布所有受影响用户的无线业务全部恢复。从凌晨算起，全程约12小时。两天后，AT&T宣布向受影响用户补偿5美元话费——按其体量，这笔补偿被不少美国网友调侃为“一杯咖啡都买不起”，真正有分量的账单，要等半年后监管来开。 ### 当日时间线（美东时间） | 时间 | 事件 | 信息来源 | |---|---|---| | 凌晨3点前后 | 编排系统执行网络变更，部分核心网元开始异常 | FCC和解令认定的故障时段起点 | | 凌晨4点 | 用户大规模失联，社交平台报障集中出现 | 媒体报道、Downdetector曲线 | | 上午7点 | Downdetector报障峰值超7.3万次，创平台运营商类纪录 | 路透社报道 | | 上午 | AT&T声明排除网络攻击；FBI、DHS介入排查 | AT&T当日声明、媒体报道 | | 下午3点半前后 | 无线业务全面恢复，全程约12小时 | AT&T当日声明、FCC和解令 | | 两天后 | AT&T向受影响用户提供5美元话费补偿 | CNN等媒体报道 | | 2024年9月12日 | FCC公布和解令：罚款95万美元+强制整改 | FCC公告 | ## 二、根因：一次“退租”操作如何放倒半张网 FCC和解令给出的官方定性很克制：这是一次**网络编排（orchestration）应用在执行作业时发生的错误**。翻译成运维语言：不是硬件烧了，不是光缆被挖断，不是黑客打进来了，而是**一套自动化管理系统在给网络“下指令”的时候，下错了指令**。 要理解这句话的分量，得先理解AT&T这家运营商的特殊背景。在北美运营商里，AT&T是网络自动化最激进的推进者之一。早在2014年前后，它就提出Domain 2.0计划，目标是把网络大规模软件化、白盒化；2017年，它把自己酝酿多年的网络编排平台ECOMP开源，与另一个项目合并成Linux基金会旗下的**ONAP（Open Network Automation Platform）**，一度是全球最重要的电信自动化开源社区。换句话说，“用软件自动调度网络”正是AT&T引以为豪的能力，是它对外宣讲了十年的转型故事。 而据Light Reading在故障发生后援引知情人士的报道，这次出事的具体场景，恰恰是一次**设备退租（equipment return）**——AT&T在向设备厂商归还租赁的网络设备时，相关的退网、退配置操作经由编排系统执行，结果出了岔子，网络元素被错误地“动”了，直接引发大范围的注册和路由异常。 这里必须说清楚哪些是可验证事实、哪些是行业推断。**可验证的**：根因是编排应用出错、触发场景与设备退租相关、非网络攻击。**推断的**（从故障表现反推，业内较一致的看法）：编排系统批量下发的错误配置，很可能打击到了移动核心网里负责用户注册与业务路由的关键环节——这解释了为什么故障呈现为“信号满格但打不出电话”：终端的无线接入还在，但 IMS 域的注册、寻呼和信令路由出了问题，语音和短信自然全阻；而部分数据流量走的是不同链路，得以幸存。 故障传导链条大致如下： ```mermaid flowchart TD A["设备退租任务进入编排系统"] --> B["变更未有效拦截风险"] B --> C["错误配置批量下发"] C --> D["核心网元注册与路由异常"] D --> E["语音与短信大面积全阻"] C --> F["监控未能第一时间精确告警"] F --> G["定位与回滚耗时拉长"] E --> H["波及超1.25亿台设备"] E --> I["至少2.5万次911呼叫失败"] ``` 这个链条里有两个细节值得每一位运维负责人反复咀嚼。 **第一，退网比扩容更危险。** 日常割接、扩容，团队警惕性高、演练充分；而“退租”“退网”“下线老设备”这类操作，往往被视为收尾性的杂活，审批宽松、校验稀疏。但退网操作的爆炸半径一点不小——它动的是活网上正在承载业务的配置。这次AT&T事故最讽刺的地方在于：一家以自动化著称的运营商，栽在了自动化最不设防的一条作业线上。这类模式并不孤立——此前复盘过的罗杰斯、KDDI、Optus等近年重大故障，多数也是“变更、升级、配置”环节失守，而非天灾。 **第二，自动化的规模放大效应是双向的。** 编排系统的价值在于一次配置千台网元；代价是一旦出错，也是一次配置搞挂千台网元。手动时代一个工程师打错一条命令，炸的是一个网元；自动化时代一个模板写错，炸的是全网。这不是要不要自动化的选择题，而是自动化必须配齐“灰度、校验、回滚”三件套的必答题——问题在于，AT&T这套系统在2024年2月22日凌晨，三件套显然没有全部到位。 ## 三、影响评估：9200万通电话与2.5万次911 FCC在和解令中给出的量化数据，比任何主观描述都更有冲击力： - **波及设备：超过1.25亿台**——不仅包括AT&T自有用户，还包括使用其网络的虚拟运营商（MVNO）用户，以及第一响应者网络FirstNet的部分用户。也就是说，美国当天大约每两部手机里，就有一部在这12小时里打过一次“无法接通”。 - **被阻断的通话：超过9200万通**——这是和解令认定的、因本次故障未能完成的电话数量。 - **失败的911呼叫：至少2.5万次**——这是整份文书里最沉重的数字。急诊病人的家属、车祸现场的司机，在这12小时里按下三个数字，得到的却是无法接通。 911是理解美国监管怒气的钥匙。美国的紧急呼叫体系高度依赖蜂窝网络的可达性：用户无论是否插SIM卡、无论信号属于哪家运营商，理论上都应能接通911（3GPP在标准层面就允许终端在受限服务状态下驻留任意可用网络发起紧急呼叫）。但这一切的前提是——**终端至少要能附着上某张网**。当故障发生在核心网注册层面时，手机连网都上不去，任何紧急呼叫兜底机制都无从谈起。这也正是FCC历来看重网络可靠性、设有强制故障上报制度（NORS，网络故障报告系统）的原因：重大故障必须向监管及时通报，而911受影响的事故，监管权重完全不同。 还有一个容易被忽略的影响面：故障发生在工作日清晨通勤高峰前。全美数以千万计的人发现导航用不了、打车软件叫不到车、公司电话会议拨不进去。个别依赖AT&T网络的物联网和报警设备也受到波及。对一家当季营收超过300亿美元的公司来说，直接的经济损失是可算的；但2.5万次打不出去的急救电话带来的公信力损伤，是算不出来的。 顺带把这次事故放进近年的“重大故障坐标系”里看：它的**持续时间（12小时）**不是最长的——罗杰斯19小时、KDDI 61小时都比它久；但它的**单点波及规模（1.25亿台设备）和911影响**，在北美移动通信史上几乎找不到对手。这两个维度的组合，决定了它必然成为监管执法的标志性案例。 ## 四、FCC的账单：95万美元与一揽子整改 2024年9月12日，FCC执法局公布与AT&T达成的和解令。时任FCC主席杰西卡·罗森沃塞尔在声明中强调：当美国人拨打911时，必须能够接通——运营商必须为网络的可靠性负责。 罚单金额是**95万美元**。单看数字，对年营收千亿美元级的AT&T来说近乎象征性——这甚至不及它在超级碗期间投放一支30秒广告的预算。但这份和解令真正的牙齿在罚款之外：它是一份**带强制整改条款的行政文书**，不是交钱了事的和解。据FCC公告的要点，整改框架大致如下： | 整改义务 | 核心内容 | 时限/有效期 | |---|---|---| | 网络变更管理计划 | 建立并落地规范化的网络变更管控流程，覆盖配置下发、设备退网等高风险作业 | 和解令生效后180天内完成 | | 应急管理计划 | 完善重大故障的应急处置、恢复与升级机制 | 和解令生效后180天内完成 | | 911故障通报义务 | 发生影响911的故障时，须按要求向FCC及时通报 | 长期有效 | | 根因分析提交 | 对后续重大故障向监管提交根因分析报告 | 此后三年内持续有效 | | 民事罚款 | 95万美元 | 即时缴纳 | 读这份清单，会发现FCC把整改重心全部压在了**流程与机制**上，而不是追究某个具体技术环节。这符合监管机构对电信故障的一贯逻辑：单点技术错误在任何网络都会发生，真正决定灾难是否重演的，是变更管理、应急响应和透明通报这三套制度是否真的在运转。对AT&T而言，未来三年每一次重大故障都要向监管交根因分析，等于把运维质量置于FCC的持续观察之下——这比95万美元难受得多。 ## 五、工程师视角：四道防线为何集体失灵 放下文书，回到机房视角。复盘这场事故，真正值得每个运维团队自问的是：常规 supposed 有四道防线，为什么在那天凌晨集体失灵？ **第一道防线：变更前的风险闸门。** 高风险变更（退网、退租、批量配置）理应有最严格的准入：双人复核、变更单评审、影响面分析、避开业务高峰。凌晨3点执行退租类作业，本身说明这条作业线被归入了“低风险日常操作”一类。建议每个团队把“涉及活网配置的删除类操作”全部重新定级——删除的爆炸半径从来不小于新建。同时，变更窗口管理要区分“扩容窗口”和“退网窗口”：后者应该安排在有人力密度兜底的白天，而不是值班的深夜。 **第二道防线：变更中的灰度与校验。** 编排系统批量下发前，应先在单网元或单区域试跑，配置差分比对（变更前后配置快照对比）、关键字段白名单校验（例如涉及HSS/IMS注册、 Diameter 路由的参数必须二次确认）、异常自动熔断。理想状态是：错误配置下发的瞬间，首批网元的KPI探针就应该报警并触发自动暂停。AT&T的编排能力业内领先，恰恰说明自动化平台必须把“发得快”和“停得快”做成同等优先级。 **第三道防线：变更后的快速定位。** 从凌晨3点到上午，故障定位显然花费了远超预期的时间。全网级故障的定位难在“信令黑洞”——话统上看不到用户，日志里翻不到异常。这暴露的是可观测性建设的老问题： attach成功率、注册成功率、寻呼成功率这类核心KPI的异常检测阈值，必须能区分“区域性劣化”和“全网性塌方”，后者应该直接触发最高级别告警直达值班总监，而不是顺着告警风暴慢慢爬。顺带说一句，告警治理做得越好（此前写过“一夜两万条告警先看哪条”的治理方法），重大故障来临时的信噪比就越友好——前提是最高优先级的“塌方型”告警永远保留直通通道。 **第四道防线：恢复时的按序回滚。** 12小时的恢复时长里，很大一部分消耗在“如何安全地恢复”上。全网被错误配置打击后，粗暴地全量回写配置可能引发二次故障（恢复流量风暴、网元批量重注册雪崩）。成熟的恢复流程应该是：先小范围验证回滚配置的正确性，再分区、分批放量，每一步都有KPI门限校验。慢，但稳——在2.5万次失败的911呼叫面前，“快”没有价值，“稳”才有。 ```mermaid timeline title 从故障到整改：AT&T事故的四道防线时间轴 section 当日（2024年2月22日） 凌晨 : 变更闸门未拦住退租作业 : 第一道防线失守 清晨 : 错误配置批量下发 : 灰度与校验缺位 上午 : 全网KPI塌方 定位缓慢 : 可观测性告警迟滞 下午 : 分阶段恢复业务 : 12小时收复失地 section 后续（2024年） 2月底 : 用户5美元补偿 : 公关层面止血 9月12日 : FCC和解令落地 : 流程整改重于罚款 未来三年 : 定期向监管交根因分析 : 运维质量持续受检 ``` ## 六、结语 AT&T这场12小时大断网，值得写进每一本电信运维教材，不是因为罚单，而是因为它精准演示了一个行业级的悖论：**最懂自动化的运营商，被自动化放倒了**。编排系统本是AT&T转型故事里最亮的那颗星，却在一次看似收尾性的设备退租作业中，成了全网故障的扳机。 它留下的教训可以浓缩成三句话：删除类变更要按最高风险定级；自动化平台必须“停得比发得快”；核心KPI的塌方告警永远直通最高值班层级。至于监管的启示，FCC已经用一份和解令说得很清楚——运营商可以向公众道歉、给用户补偿，但向监管证明“变更管理真的管住了”，才是这条业务线的准入门槛。95万美元买不来教训，180天的整改期限才买得来。 对正在推进自智网络、意图驱动网络的国内同行，这场事故是一面提前照见的镜子：当我们把越来越多的高风险作业交给自动化平台执行时，AT&T的凌晨3点，就是我们所有人都在提前排练的那个场景。自动化每前进一步，灰度、校验、回滚三件套就要同步往前一步——否则，下一张95万美元的账单，落款可能就是我们自己的名字。 --- **注**：本文成稿环境限制了对具体文章页的直链抓取，以下链接为对应官方/媒体站点入口（均已验证可达），按标注的标题与日期检索即可定位原文。 ## 参考来源 1. [FCC EDOCS官方文书库](https://www.fcc.gov/edocs) — 2024年9月12日发布的AT&T和解令（Order and Consent Agreement）：认定故障持续约12小时、波及超1.25亿台设备、阻断超9200万通电话（含至少2.5万次911呼叫失败）、罚款95万美元并附180天整改与三年根因报告义务。在EDOCS以"AT&T February 2024 outage"检索可获取原文。 2. [Light Reading](https://www.lightreading.com) — 2024年2月Mobile核心记者Mike Dano的独家报道（What caused AT&T's outage? Equipment return, sources say），首次披露故障触发场景为向设备商归还租赁设备过程中的编排作业出错。 3. [The Verge AT&T专题](https://www.theverge.com/att) — 2024年2月22日及9月12日对本次故障全程与FCC和解令的系列报道，含AT&T“非网络攻击”声明与当日恢复时间线。 4. [Reuters电信频道](https://www.reuters.com/business/telecomcommunications/) — 2024年2月22日故障当日报道（Downdetector报障峰值超7.3万次、FBI与DHS介入排查）及9月12日和解令报道。 5. [AT&T新闻室](https://about.att.com/) — 2024年2月22日故障当日声明：确认根因为“编排网络作业的应用与流程出错”、排除网络攻击、宣布全面恢复及后续用户补偿方案。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。