# 一万张卡冲垮核心网：一场信令风暴的完整解剖
## 概述
凌晨两点，某省物联网专网的 MME 突然信令过载：附着成功率雪崩，八千多个基站同时"咳嗽"，而业务面流量却风平浪静。这背后是一批物联网模组因固件缺陷集体"暴走"，用周期性重附着把核心网打了个措手不及。本文以一起复合复盘案例为线索，讲清信令风暴的发生机理、七步排障法、3GPP 规范里早已备好的拥塞控制武器库，以及治本之道——为什么模组入库认证比事故后救火重要一百倍。全文机制解读以 3GPP 官方规范为主轴锚定（TS 22.011、TS 24.301、TS 36.331 等，链接见文末参考来源）。
**写作说明**：文中案例由笔者亲历的多起同类故障综合改编，运营商、省份、数字均为化名与示意，不指向任何真实主体；行业史实部分明确标注信源性质；3GPP 机制部分为可验证的标准事实。
## 目录
- 一、凌晨两点的告警雪崩
- 二、信令风暴是什么：一道算术题
- 三、这不是新故事：从微信之争到模组暴走
- 四、排障七步法：从曲线突变到固件版本号
- 五、3GPP 早就备好了灭火器
- 六、治本之道：把风暴挡在入库之前
- 七、经验教训清单
- 八、结语
---
## 一、凌晨两点的告警雪崩
先看一张复盘时间线（化名示意数据）：
| 时刻 | 事件 | 关键证据 |
|---|---|---|
| 01:47 | MME-A 的 CPU 占用率从 41% 爬升至 78% | 网管性能曲线，无任何割接工单 |
| 02:03 | Attach 成功率从 99.2% 跌至 71%，紧急呼叫占比异常抬头 | EMM 层话统，失败原因集中在定时器超时 |
| 02:11 | 相邻 MME 池组开始分担溢出用户，同样出现 CPU 爬升 | 池组负载均衡日志 |
| 02:26 | 无线侧报告多个郊区 TAC 出现寻呼量突增，话务量反而下降 | eNB 话统对比 |
| 02:40 | 信令采集系统启动 S1-MME 全量抓包 | PCAP 落盘 |
| 03:05 | 确认信令指纹：同一 TAC、同一 APN、同一模组型号的 IMSI 段集中重附着 | PCAP 聚类分析 |
| 04:30 | 对该批用户启用接入控制 + NAS 退避，曲线止血 | Attach 成功率回到 96% |
| 次日 18:00 | 定位到模组固件缺陷：基站在一次寻呼重传后未正确处理响应，模组进入异常重连循环 | 厂商复现确认 |
那天夜班的同事后来跟我说了一句话，我记到现在："业务面安静得可怕，信令面却像开了闸。"这正是信令风暴最阴险的地方——**用户面流量几乎为零，核心网却快被打死了**。如果值班人员只盯着流量曲线，会完全错过灾难的前兆。
## 二、信令风暴是什么：一道算术题
教科书定义：大量终端在短时间内集中发起网络信令（附着、周期性位置更新、业务请求），导致网络信令处理资源耗尽，连正常用户也被拖下水。
但工程师更喜欢算账。做几道推演（以下为作者估算模型，非实测数据）：
**场景一：传统手机时代。**一部智能手机的信令开销，3G 时代行业普遍认为约是功能机的数倍到十倍量级——APP 心跳、状态刷新、推送唤醒，每一次都是一条 RRC 连接请求加一条 Service Request。
**场景二：物联网时代。**假设一家物流公司有 10000 张车载定位卡，心跳周期 60 秒。平均到每秒：10000 ÷ 60 ≈ 167 次/秒的业务请求。看似不多？现在假设固件缺陷导致这批卡集体掉线重连，每次重连是完整的 ATTACH 流程（鉴权、位置更新、承载建立），信令开销是一次心跳的 10 倍以上。更糟的是，重连失败会触发指数级重试——失败越多，重试越急，这正是 DDOS 的经典放大结构，只不过发起攻击的是客户自己买的卡。
**场景三：规模叠加。**省级物联网专网动辄几十万张卡。哪怕只有 5% 的卡出现异常（几万张），每张卡以 30 秒为周期发起重附着，折算下来就是每秒上千次的 NAS 消息洪峰——这已经超过很多现网 MME 的设计信令容量。
信令风暴的本质是三重放大：**时间上同步**（同一固件、同一缺陷触发条件，天然同时钟）、**单次开销大**（重连流程远贵于心跳）、**失败反馈正循环**（拥塞导致失败，失败激发重试）。理解了这三条，后面所有抑制机制的设计逻辑都会豁然开朗——3GPP 的灭火器，每一件都是冲着这三重放大来的。
## 三、这不是新故事：从微信之争到模组暴走
信令风暴进入中文行业视野，绕不开 2012 到 2013 年那场著名的"微信收费"之争。据当时 C114、通信世界等行业媒体的公开报道，中国移动高层多次公开表示，类微信 OTT 应用的频繁心跳信令对移动网络造成显著压力，信令消耗远超同等话务量的传统业务，运营商与互联网公司就"谁该为信令成本买单"隔空交锋，最终主管部门介入协调，资费之争不了了之，但"信令风暴"一词从此写进了中国通信人的词典。
放眼海外，智能机普及期（2011—2013 年）欧美日运营商同样被心跳应用折磨：行业媒体广泛报道过推送服务集中唤醒导致的信令拥塞事件，设备商也顺势推出信令优化方案，把高频心跳收敛进网络侧代理。这段历史的技术遗产一直延续到今天——你手机上那些"永不掉线"的推送，背后都是当年信令风暴教训换来的长连接保活设计。
到了 2020 年代，剧本换了主角重新上演：**主角从智能手机变成了物联网模组**。NB-IoT、LTE Cat.1 模组单价被打到二十元以下，海量廉价设备涌进网络。这些模组的固件质量参差不齐，而物联网设备的生命周期长达五年十年，大量设备部署在无人值守的现场，固件升级困难。据行业媒体近年报道，GSMA 与 GSA 等行业组织曾就"缺陷模组影响网络稳定性"发布行业指引，多家运营商也通报过个别批次模组因省电状态机或寻呼响应处理缺陷引发的网络异常（此类通报多为行业媒体转述口径，细节未经厂商官方逐一证实）。文中开头的案例，正是这一浪潮下最典型的故障形态。
## 四、排障七步法：从曲线突变到固件版本号
下面是本文的核心干货：一套在现网反复验证过的信令风暴排障流程。整体定界思路如图：
```mermaid
flowchart TD
A[曲线突变
Attach成功率跳水] --> B{第一定界
信令面还是业务面}
B -->|话务量正常| C[信令面问题]
B -->|话务量同涨| D[业务面过载]
C --> E[查S1AP与NAS错误码]
D --> F[扩容或限流常规处置]
E --> G[按IMSI段与TAC聚类]
G --> H{信令指纹集中吗}
H -->|同一TAC与APN| I[锁定同批模组]
H -->|全网分散| J[排查无线侧与传输]
I --> K[止血:接入控制加退避]
K --> L[溯源:SIM与模组固件]
L --> M[治本:灰度修复与入库整改]
```
**第一步：看面。**先判断是业务面还是信令面。三个 KPI 板斧：Attach 成功率、E-RAB 建立成功率、寻呼量。信令风暴的指纹是"三此消彼长"——话务量下降（用户根本挤不进来）、寻呼量上涨（网络反复呼叫失联终端）、附着失败率暴涨。如果话务量同步暴涨，那是业务面拥塞，走扩容限流的常规路。
**第二步：读错误码。**把 NAS 层 EMM 失败原因拉出来分桶。经验上重点盯三类：cause #11（P-TMSI/GUTI 未被网络识别，说明终端拿着过期临时标识反复接入）、cause #15（跟踪区内无合适小区，常见于终端侧异常导致的重选死循环）、以及 cause #22（拥塞）伴随的退避定时器 T3346 下发记录——如果 T3346 已经大量下发而洪峰不减，说明终端根本没遵守退避，八成是模组实现有缺陷。S1AP 层则看建立失败的原因分布，区分是 MME 过载拒绝还是无线侧资源问题。
**第三步：抓包。**在 Gi/信令采集系统上对 S1-MME 落盘全量 PCAP。这时候平时的信令采集能力就是真金白银——没有常态化采集的省，只能临时在核心网侧挂表，凌晨三点爬机房的滋味不好受。过滤式建议从 `s1ap.procedureCode` 入手，先分离出 ATTACH 与 Service Request 两大洪峰成分。
**第四步：提指纹。**这是定位的胜负手。对 PCAP 做四维聚类：IMSI 段（号段对应哪个客户）、TAC（终端类型粗分类）、APN（对应哪个行业平台）、IMEISV 前缀（模组型号与固件版本）。四个维度一交叉，"同一物流客户的同批次模组"这种指纹会自己跳出来。判断口诀：**指纹越集中，越是终端侧根因；指纹全网均匀，回头查网络侧**。绝大多数信令风暴案子里，指纹都集中得刺眼。
**第五步：溯源头。**拿着 IMEISV 前缀找模组厂商，拿着 IMSI 段找行业客户，核对三件事：这批卡的固件版本是否同一批次、最近是否有 FOTA 推送、客户侧是否有集中上电或平台变更。本案例中最终锁定的触发条件是"平台侧一次批量配置下发后，特定固件版本在寻呼重传场景下进入异常重连循环"——典型的多因一果。
**第六步：快止血。**手里马上能用的三招：对该 APN 启用接入限制或降速；通过 S1AP 过载机制让 eNB 侧对非紧急接入做比例限制；对已识别的异常批次下发 NAS 退避（T3346），强制冷却。注意止血的度——接入控制是钝刀子，会把无辜用户一起挡在门外，因此优先按 APN/号段精准打击，全小区级别的 ACB 留作最后手段。同时同步客服口径，这波故障的行业客户投诉会比普通用户尖锐得多。
**第七步：真治本。**止血只是给病人退烧，根子在固件。推动厂商出修复版本，FOTA 灰度推送（先几百张卡观察一周，再分省放量），并在该型号模组的入库测试用例里把这次事故场景固化成回归项——**每一次重大故障都应该变成一条入库测试用例，这是运维团队对网络建设最硬核的反哺**。
## 五、3GPP 早就备好了灭火器
很多人以为信令风暴是"事故"，其实 3GPP 在 R10 时代就系统性地为此建了整套武器库——毕竟机器通信（MTC）的接入风暴在标准立项之初就是明确的研究课题。本文机制部分以 3GPP 官方规范为锚，逐层拆解（规范原文可经 ETSI 官网公开下载，链接见文末）：
**空口层——把人挡在门外。**接入控制族是最快见效的刹车：
| 机制 | 规范依据 | 作用层 | 控制粒度 | 典型场景 |
|---|---|---|---|---|
| ACB 接入类别禁止 | TS 22.011 / TS 36.331 | LTE 空口 RRC | 全小区按接入类 | 突发拥塞的快速总闸 |
| EAB 扩展接入禁止 | TS 22.011（R10 引入），SIB14 广播 | LTE 空口 RRC | 面向 MTC 终端分档 | 物联网卡风暴精准限流 |
| ACDC 应用类接入控制 | TS 36.331（R12 引入） | LTE 空口 RRC | 按应用业务类别 | 分类限流，放过关键业务 |
| UAC 统一接入控制 | TS 38.331 | 5G NR 空口 | 接入类别+标识联合判决 | 5G 时代的统一机制 |
ACB 的设计思想值得细品：每个普通用户的接入类别是 0–9 中的一个，网络通过广播逐类开关接入权限——拥塞时先关一半类别，相当于收费站"单双号限行"；11–15 类留给运营商与高优先级用户，保证救火的人自己进得了门。EAB 则更精细，专为机器通信设计：网络把终端分成"禁止/允许"分档（配合 SIM 里的接入优先级标识），风暴来临时可以只限物联网卡、不伤手机用户。5G NR 把这些机制统一成了 UAC，按业务类型划分接入类别，思路一脉相承。
**NAS 层——罚站与冷却。**终端挤进门之后还有第二道闸：TS 24.301 定义的拥塞退避。网络在拒绝消息里携带退避定时器 T3346（移动性管理拥塞）或 T3396（会话管理/APN 粒度拥塞），终端收到后必须倒计时结束才允许再次尝试。这相当于交警现场开罚单："这辆货车，一小时后再来。"现网排障时 T3346 的下发量本身就是拥塞严重度的实时温度计。
**网元层——MME 的自保开关。**S1AP 规范（TS 36.413）定义了过载流程：MME 过载时向基站发送 Overload Start，指示基站按比例拒绝非紧急接入请求，把压力在源头消解掉，而不是让 MME 被信令淹死后整池瘫痪。5GC 里 AMF 有对应的 NGAP 过载机制，逻辑同源。标准允许运营商在多种过载动作间配置选择，具体行为以各厂家官方文档为准。
**治本层——让终端少敲门的节电机制。**PSM（省电模式）堪称物联网信令风暴的天敌：终端在 TS 24.301 定义的 Active Timer（T3324）到期后进入深度休眠，不监听寻呼、不发心跳，有数据才醒来，醒来也不必每次都做完整 TAU（PSM 期间保留注册状态）。eDRX 则拉长寻呼监听周期。两者配合，能把一台电池供电的定位卡从"每小时报到"变成"有事才上线"——信令总量从源头掉一个数量级。反过来说，**省电参数配错（比如 PSM 没生效）本身就是信令风暴的高发根因**，这也是为什么缺陷模组通告里省电状态机问题是重灾区。
这套机制栈的精妙在于分层递进：空口闸门管"进不进得了小区"，NAS 退避管"多久后再试"，网元过载管"核心网自己的命"，PSM/eDRX 管"根本不需要来"。四层各司其职，排障时按"快刹车→罚冷却→保命→治本"的顺序逐层启用，节奏就不会乱。
## 六、治本之道：把风暴挡在入库之前
事故复盘到这里，最该回答的问题是：为什么缺陷模组能进网？
**第一道关：模组入库认证。**主流运营商对入网模组都设有入库测试体系，行业层面还有 GCF、PTCRB 两大国际认证作为基本盘。入库测试的核心不是测"能不能连上"，而是测**异常场景下的行为是否规矩**：弱场下的重连退避是否合规、寻呼失败后的重试节律、省电状态机的转换边界、并发附着风暴下的退让表现。这次案例暴露的短板很典型——入库测试覆盖了正常流程，异常行为测试用例不足，恰恰放过了"寻呼重传后异常重连"这个场景。
**第二道关：行业协同。**模组缺陷是全行业课题，单家运营商的测试能力覆盖不了所有固件版本组合。据行业公开报道，GSMA 等组织近年推动过针对缺陷模组的行业信息共享与指引，方向是对的：一家运营商踩过的坑，应该变成全行业的入库用例。标准允许各厂家在多种实现间取舍，但"异常时守规矩"应该是全行业一致的底线要求。
**第三道关：固件生命周期管理。**物联网设备"部署后十年不动"的旧观念必须改。给行业客户供货时，FOTA 能力应该写进合同；固件升级必须灰度——先试几百张，观察至少一个心跳周期加一个忙时，再放量；同一客户同批次模组的固件版本要有台账，风暴来时才能分钟级圈出嫌疑名单。文中案例从洪峰到锁定固件版本用了半天，如果版本台账齐全，这个时间可以缩到一小时以内。
**第四道关：商务条款。**别羞于谈钱。模组缺陷造成的网络事故是真实的商业损失，采购合同里应该有缺陷责任与赔偿条款，还要约定客户侧心跳周期下限与集中操作报备机制——一万张卡同一秒重启平台这种事，客户侧一个变更窗口配置就能避免大半。
## 七、经验教训清单
1. **信令面监控要独立于业务面。**流量曲线平静不等于网络健康，Attach 成功率、信令负荷、T3346 下发量必须进核心监控大盘。
2. **常态化信令采集是排障的基建。**没有全量信令采集的省，风暴来时只能两眼一抹黑。PCAP 落盘能力要在晴天修屋顶。
3. **四维指纹法是定位利器。**IMSI 段、TAC、APN、IMEISV 前缀交叉聚类，指纹集中即终端侧根因。
4. **止血用钝刀不如用手术刀。**优先 APN/号段粒度精准限流，全小区 ACB 是最后手段。
5. **退避定时器是否被遵守，本身就是诊断依据。**T3346 大量下发而洪峰不减，基本可以断定模组实现有缺陷。
6. **每一次故障固化成一条入库用例。**这是运维反哺建设最实在的方式。
7. **PSM/eDRX 配置审计纳入例行巡检。**省电参数配错既是电费问题，也是信令风暴隐患。
8. **物联网客户要有"接入行为条款"。**心跳下限、变更报备、FOTA 义务写进合同，比事后扯皮体面得多。
## 八、结语
信令风暴是一个"历史不断押韵"的故障形态：十多年前是智能手机的心跳，今天是物联网模组的暴走，明天可能是 AI 终端的常在线请求。剧本在变，但三重放大的戏骨没变——同步触发、高额单次开销、失败正反馈。3GPP 的机制栈给了我们四层灭火器，可真正决定成败的，是灭火器有没有提前配好、指纹采集能力有没有晴天建好、缺陷模组有没有被挡在入库之前。
运维这个行当的残酷之处在于：平时看起来什么都没发生的工作——一条入库用例、一份版本台账、一个信令采集盘——恰恰是风暴之夜你和别人拉开差距的地方。网络从不辜负准备，它只是把准备藏到了故障那一刻才揭晓。
---
## 参考来源
1. [ETSI TS 122 011（Service accessibility，ACB/EAB 接入控制规范）](https://www.etsi.org/deliver/etsi_ts/122000_122099/122011/) — ETSI 官网公开下载页，本文接入控制机制的规范依据
2. [ETSI TS 124 301（EPS NAS 协议，T3346/T3396 退避与 T3324 PSM 定时器）](https://www.etsi.org/deliver/etsi_ts/124300_124399/124301/) — NAS 层拥塞控制与省电机制的规范依据
3. [ETSI TS 136 331（LTE RRC，SIB14/EAB 广播与接入控制信令）](https://www.etsi.org/deliver/etsi_ts/136300_136399/136331/) — 空口接入控制广播机制的规范依据
4. [3GPP Portal 规范检索入口](https://portal.3gpp.org/) — 3GPP 官方规范库，可检索上述规范的最新版本与状态
5. 微信信令风暴之争、缺陷模组行业指引等史实性内容，据 C114、通信世界及 GSMA/GSA 相关行业公开报道整理，未列具体链接，细节以官方口径为准
---
> 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。
> 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。
