## 概述 2018年12月27日凌晨，美国骨干网巨头CenturyLink全国性瘫痪37小时：2200万用户、39个州受波及，至少886通911报警电话没能送达。这起被FCC称为“完全不可接受”的断网，源头竟是丹佛一个节点的交换模块自发产生的**4个畸形管理包**——而把4个包放大成全国灾难的，是一条默认开启、却从未有人配置过的厂商私有管理信道。本文以FCC官方调查报告（2019年8月发布）为主轴，结合Ars Technica等公开报道，完整复盘这起教科书级的“故障自放大”事故：四个包如何形成无限反馈环、为什么摘掉故障模块后网络还在瘫、以及FCC点名的四大管理缺陷。 ## 目录 - 一、一张别人都踩着的骨干网 - 二、37小时时间线：从4个包到全国沉默 - 三、根因剖析：为什么4个包能放倒一张全国网 - 四、影响评估：2200万用户与886通未送达的911 - 五、处置复盘：摘掉病灶之后，病还在扩散 - 六、监管与整改：50万美元和解与131.5万美元州罚单 - 七、经验教训：给运维人的五面镜子 - 八、结论 ## 一、一张别人都踩着的骨干网 先认识一下主角。CenturyLink，总部位于路易斯安那州，2017年吞并Level 3之后，成为美国最大的长途传输与骨干网运营商之一。它的角色类似“运营商的运营商”：Comcast、Verizon、AT&T这些巨头，都要租用它的长途传输线路把自己的流量搬到全国各个角落。换句话说，CenturyLink不是一张普通的网，它是很多张网的地基。 这个身份决定了它的故障模式：自己网里的任何一个抖动，都会顺着传输线路传导到下游一大片。2018年12月27日的这次事故，把这种“地基塌陷”演绎到了极致。 还有个细节值得一提：这次全网瘫痪，**第一个报障的不是CenturyLink的监控系统，而是一家客户**。FCC报告记载，12月27日凌晨3时56分（美东时间），CenturyLink是在接到客户询问后才意识到出了大事。一张全国骨干网，自己先瞎了。 ## 二、37小时时间线：从4个包到全国沉默 先看FCC报告还原的完整时间线（以下均为美东时间）： | 时间 | 事件 | | --- | --- | | 12月27日凌晨 | 丹佛节点一块交换模块自发产生4个畸形管理包，开始在网内复制 | | 12月27日 03:56 | 接到客户报障，CenturyLink才确认网络出大事 | | 12月27日上午 | 派工程师赶赴奥马哈、堪萨斯城，现场直接登录受影响节点 | | 12月27日白天 | 逐级溯源，锁定问题源头为丹佛节点 | | 12月27日 21:02 | 找到并物理移除产生畸形包的模块 | | 12月28日 00:00后 | 摘除模块约3小时后，工程师开始让节点不再应答畸形包，并整体关闭私有管理信道 | | 12月28日 05:07 | 大部分网络恢复正常 | | 12月28日 11:30 | 远程监控能力恢复 | | 12月28日 23:36 | 全部受影响节点恢复 | | 12月29日 12:01 | 骨干网宣告“稳定”，后续仍有零星模块复位与更换工作 | 注意这张表里藏着一个反常识的事实：**21:02摘掉了病灶，网络又瘫了一整夜**。为什么？后面细说。 FCC认定的全国性服务中断时长为37小时；而直到12月29日中午骨干网才彻底稳定，全程接近56小时。华盛顿州监管机构后来甚至给出了“州内近50小时中断”的独立口径——同一场事故，在不同层面、不同口径下有多个时长，复盘时千万别把它们揉成一个数。 ## 三、根因剖析：为什么4个包能放倒一张全国网 ### 1. 四个“幽灵包”的诞生 FCC报告的表述是：12月27日早晨，CenturyLink丹佛节点的**一块交换模块（switching module）自发产生了4个畸形管理包**。 CenturyLink和设备商Infinera把模块拆下来做了彻底的取证分析，**至今无法复现这些包是怎么、为什么被产生的**。也就是说，根因的起点至今是个黑盒——Lumen（CenturyLink后继公司）在2022年的10-K年报里也只能说“我们相信是一块第三方网络管理卡缺陷所致”。 但4个包本身长什么样，FCC报告写得清清楚楚。每个畸形包同时具备四个特征： 1. **广播目的地址**——它被要求发给所有相连设备，而不是某一个对端； 2. **包头有效、校验和有效**——在网络看来，这是个“合法”的包； 3. **没有过期时间**——不存在“太老了就丢弃”的机制； 4. **尺寸大于64字节**——刚好越过了管理信道上那道按尺寸过滤的门槛。 这四个特征凑在一起，意味着：过滤网拦不住它（够大）、校验拦不住它（合法）、传播范围是全网（广播）、传播时长是永远（不过期）。一个完美的幽灵。 ### 2. 一条“没用过”的信道，成了全网的传送带 这些包跑在什么路上？一条Infinera设备节点之间的**厂商私有管理信道**。 FCC报告里最扎心的一句话是：这条信道**默认启用**。CenturyLink知道它的存在，但从没配置过、也从没打算用它——“未使用”指的是管理意图，而不是运行状态。信道开着、没配置、没有流量基线、不在监控视野里。一条没人看管的路，偏偏是全通的。 ### 3. 反馈环：故障如何自我放大 接下来是这场事故最核心的机制。每个收到畸形包的节点，会把它重发给自己的所有邻居节点——**包括刚才那个把包发给它的邻居**。邻居们如法炮制。包看起来合法、又永不过期，于是复制永不停止： ```mermaid flowchart TD A["丹佛交换模块
自发产生4个畸形包"] -->|进入管理信道| B["尺寸过滤器放行
包头校验和均有效"] B -->|广播到所有节点| C["邻居节点照单全收"] C -->|向所有邻居重发
包括来路| D["复制永不停止
指数级反馈环形成"] D -->|吃光处理资源| E["节点内部同步丢失"] E -->|线模块失步| F["路由与转发能力失效"] F -->|成片节点倒下| G["全国骨干网瘫痪"] ``` 用FCC报告的原话概括：畸形包的传输呈指数增长，形成**永不停歇的反馈环**，吃掉了节点的处理能力，破坏了节点内部同步——具体表现为发给成对线模块的指令，常常只有一块真正收到。失去同步的节点，随即失去路由和转发用户流量的能力。成片节点倒下，全国多处同时断网。 看清楚这个链条：故障从“一个模块”到“一张全国网”，中间每一步都不是天灾——过滤器本可以更严、信道本可以关掉、广播本可以设上限、处理资源本可以有告警。每一步都缺一道闸。 ## 四、影响评估：2200万用户与886通未送达的911 FCC摘要给出的总账：**多达2200万用户、39个州受影响**，其中约1700万用户分布在29个州，一度无法可靠拨打911；**至少886通911呼叫未能送达**。CenturyLink自估**12,100,108通电话被阻断或质量劣化**；约110万DSL用户在37小时内部分时段断网，另有260万DSL用户可能经历了降速。 真正的连锁反应发生在下游。FCC报告逐家记录了波及情况： - **Comcast**：约355万VoIP电话用户潜在受影响长达49小时32分钟，部分用户拨号听到忙音；爱达荷州911路由受扰； - **Verizon**：西部多州无线网络受波及——亚利桑那1个县、蒙大拿12个县、新墨西哥21个县、怀俄明4个县；亚利桑那与新墨西哥两州合计潜在影响31.5万用户，据历史数据推算约1280万通呼叫被阻断；CDMA网络数万用户一度可能打不了911，而LTE网络911不受影响——因为LTE传输根本不走CenturyLink； - **AT&T**：估计177.8万用户可能受影响，出现掉话、劣化、忙音； - **911产业链**：TeleCommunication Systems、Transaction Network Services（为多家小运营商提供SS7服务）、General Dynamics IT、West Safety Services等应急通信供应商均受影响；肯塔基Bluegrass Cellular的19.5万用户911接续受潜在影响；威斯康星Cellcom有53通911呼叫缺失主叫号码与位置信息；爱荷华US Cellular的9.4万用户位置信息（ALI）受影响； - **CenturyLink自己**：11通转接911未能送达二级接警中心，15个接警中心（PSAP）没有收到位置信息。 好消息是：FCC报告明确，没有任何运营商或接警中心报告因此次断网造成人身或财产损害。坏消息是：这句话只说明“记录在案的没有”，886通没打出去的电话里发生了什么，永远无人知晓。 ## 五、处置复盘：摘掉病灶之后，病还在扩散 这次事故的处置过程，本身就是一堂分布式系统课，有三个点值得反复咀嚼。 **第一，移除故障源 ≠ 恢复。** 27日21:02，工程师找到并移除了丹佛那块模块——畸形包不再产生了。但已经散布到全网、且会自我复制的包还在网里游荡、继续繁殖。这就像把感染源隔离了，但病毒已经传开。真正的转折点是28日凌晨：让节点不再应答这类包，并整体关闭那条私有管理信道。从“源头止血”到“切断传播”，中间隔了近20小时。 **第二，恢复通道和故障在同一个域里。** 节点被畸形包打爆之后，远程登录也失灵了——管理流量和故障流量挤在同一套处理资源上。工程师只能**物理出差**，赶到奥马哈、堪萨斯城等地现场接console线。物理派工彻底改写了恢复时钟：要定位站点、要赶路、要进机房，每一步都是小时级。这就是“恢复平面依赖生产平面”的经典翻车——你的手术刀和病灶在同一间着火的屋子里。 **第三，恢复里程碑必须分层看。** 28日05:07大部分网络恢复、11:30远程监控才回来、23:36全部节点恢复、29日12:01骨干稳定、之后还在逐个复位更换线模块。如果监控里只看到一个笼统的“恢复中”，你就分不清到底哪一层好了、哪一层还在病中。 ## 六、监管与整改：50万美元和解与131.5万美元州罚单 2019年8月，FCC公共安全与国土安全局发布调查报告，点名CenturyLink未遵循多项行业最佳实践，但**没有作出任何处罚**。时任FCC主席Ajit Pai两度表示“完全不可接受”，却只承诺推动行业最佳实践、约谈其他骨干传输商。民主党专员Rosenworcel公开批评：报告出得太晚，而且没有整改行动方案。 后续追责走了两条线（据btw.media对监管档案的梳理）：联邦层面，FCC执法局以和解令（consent decree）方式结案，CenturyLink支付50万美元——文件明确这不构成对合规与否的法律认定；州层面，华盛顿州公用事业与交通委员会2023年6月裁定，因州内近50小时中断、至少1.3万通911呼叫失败，对CenturyLink处以131.5万美元罚金。 技术整改方面，CenturyLink和Infinera的动作倒是实打实： | FCC点名的缺陷 | 整改措施 | | --- | --- | | 未使用的功能未禁用：私有管理信道默认启用、从未配置 | 全网关闭该信道；Infinera在发给CenturyLink的新节点上默认关闭，并更新产品手册建议“不用即关” | | 过滤策略太窄：只挡特定已知风险 | 升级Ethernet policer（2019年秋完成），快速识别并终止无效包，阻止其入网传播 | | 无内存与处理器利用率告警：节点被打爆时监控毫无反应 | 建立面向网络管理事件的监控计划，更快发现同类异常 | | 管理信道无流量基线与审计 | 扩展内存与处理器审计范围 | Infinera那边，取证分析至今没能复现畸形包的产生机制——这块模块成了永久的悬案，但“不用即关+白名单过滤+资源告警”这三板斧，把同型故障的传播路径全部堵死了。 ## 七、经验教训：给运维人的五面镜子 把这场事故和近年另几次著名的全网瘫痪放在一起看，规律清晰得可怕： | 事件 | 触发点 | 放大机制 | 时长 | 规模 | | --- | --- | --- | --- | --- | | CenturyLink 2018.12 | 4个畸形管理包 | 私有信道广播重发反馈环 | 37小时 | 2200万用户/39州 | | 软银 2021.5 | HSS硬件故障 | 冗余切换失败+信令再送风暴 | 约29小时 | 约3060万用户 | | 罗杰斯 2022.7 | 维护操作触发路由异常 | 核心路由被批量撤销 | 约19小时 | 约1200万用户 | | KDDI 2022.7 | 交换机故障+维护中DNS更新失败 | 登录信令集中+双重故障 | 约61小时 | 约3915万用户 | 四起事故，触发点五花八门——硬件坏、包畸形、配置错、维护失误——但放大器是同一个：**网络对“异常输入”的自我复制能力**。单点故障从来不是致命的，致命的是网络把它当正常流量转发了一遍又一遍。 由此提炼五条： **1. 账面未用 ≠ 实际关闭。** 设计图上没有、操作手册里没有、没人打算用，都不代表它没在运行。包只认运行态，不认资产台账。定期做“特性启用状态审计”，尤其是厂商私有协议和默认开启的辅助功能——这次是一条管理信道，下次可能是你设备上某个没关的调试通道。 **2. 白名单过滤 > 特征黑名单。** CenturyLink原有的过滤器只拦“已知的坏”，这永远慢病毒一步。FCC的建议是反向思考：只放行“明确预期的流量”，其余一律丢弃。管理面尤其应该如此——正常时管理信道里该有什么流量，你心里得有一张白名单。 **3. 资源告警是最后的哨兵。** 节点CPU被吃光、同步已经崩了，监控系统居然一条告警都没有。CPU/内存/队列利用率这类基础告警看着原始，却是所有精妙机制失效之后唯一还在工作的防线。告警治理做减法可以，减到这条线以下就是裸奔。 **4. 恢复通道必须独立于故障域。** 带外管理不是奢侈品。要想清楚一个残酷的问题：如果生产网整体被某种风暴打瘫，你还能不能登上网元？答案若是“派车去机房”，那你的恢复时长下限就是车程——全国性的网，这就是一天起步。 **5. 关键业务要问端到端，不要问单段。** Verizon的LTE 911没事，因为它不走CenturyLink承载——这就是路径独立性。911是一条跨组织的链：承载、发起、位置、接警，四段各自绿灯不等于整体能通。承载网做变更和评估时，先画出“谁的什么业务踩在我身上”，再谈隔离。 ## 八、结论 CenturyLink这场37小时的全国瘫痪，最令人不安的地方在于它的“小”：4个包、一块模块、一条没人用的信道。没有黑客、没有算法缺陷、没有惊天配置错误，FCC和厂商查到最后，连这些包为什么会产生都说不清。 但这恰恰是它最有价值的地方——**大型网络瘫痪的头号元凶，几乎从来不是初始故障本身，而是网络处理故障的方式**。软银的信令再送、罗杰斯的路由撤销、KDDI的双重故障、CenturyLink的广播反馈环，全部是这个公式的变体：异常输入 × 自我放大 × 缺乏隔离 = 全国头条。 四个幽灵包游荡在2018年12月的美国骨干网上，用37小时给全世界上了一课：评估一张网的可靠性，别看它有几路冗余，要看它传播故障的能力有多强。能关的默认开启功能，关掉；能加的白名单，加上；能独立的带外通道，独立。毕竟地基的裂缝，永远是从最没人注意的那条管道开始的。 ## 参考来源 1. [FCC: December 27, 2018 CenturyLink Network Outage Report（DOC-359134A1）](https://docs.fcc.gov/public/attachments/DOC-359134A1.pdf) — FCC官方调查报告，本文根因、时间线、影响数据的主轴来源 2. [FCC Report on CenturyLink Network Outage（FCC官网文档页）](https://www.fcc.gov/document/fcc-report-centurylink-network-outage) — FCC发布该报告的官方公告页 3. [Ars Technica: How malformed packets caused CenturyLink's 37-hour, nationwide outage](https://arstechnica.com/information-technology/2019/08/centurylinks-37-hour-outage-blocked-911-service-for-17-million-people/) — Jon Brodkin对FCC报告的详尽报道，含Comcast/Verizon/AT&T逐家影响数据 4. [NPR: FCC Investigates Widespread CenturyLink Outage That Disrupted 911 Service](https://www.npr.org/2018/12/28/680747866/fcc-investigates-widespread-centurylink-outage-that-disrupted-911-service) — 事发次日FCC宣布调查的一手报道 5. [BTW Media: CenturyLink's 2018 outage showed how an unused management channel became a national failure path](https://btw.media/en/centurylink-2018-unused-management-channel-national-failure-path-accountability) — 对FCC报告、和解令与华盛顿州罚单的交叉梳理 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。