# 电信大模型打擂：小个子掀翻巨人 **概述**：通用大模型能写诗、能敲代码，但2023年一份电信考卷（TeleQnA）暴露了它们在3GPP标准面前的窘迫。此后两年，电信行业自己动手炼模型、自己出题打分——GSMA牵头的Open Telco榜单上，2026年9月，一个27B参数的开源模型在七项电信基准上跑出89.64%的均值，论文声称超过了GPT-5、Claude和Gemini；一个31B参数的行业模型排在官方榜单第五，把一众闭源巨头甩在身后。本文基于四篇可公开验证的arXiv论文，梳理电信专用大模型从“挂科”到“掀桌子”的完整进化链，以及它对一线运维到底意味着什么。 ## 目录 - 一、先出考卷：通用大模型考电信，挂科了 - 二、第一代专用模型：TelecomGPT是怎么炼成的 - 三、行业开始统一打分：GSMA放了大招 - 四、2026年擂台战报：小个子排队上台 - 五、四大能力轴，对准了运维的四个痛点 - 六、一条故障工单的AI推理链 - 七、冷思考：榜单高分不等于生产可用 ## 一、先出考卷：通用大模型考电信，挂科了 故事要从2023年10月说起。哈利法大学的Ali Maatouk、Merouane Debbah等六位研究者在arXiv上发布了一份专门考大模型电信知识的基准数据集——**TeleQnA**（arXiv:2310.15051）。一万道题，全部来自3GPP标准、IEEE论文等真实行业资料，再由人类专家逐题把关质量。 拿这份考卷去测GPT-3.5和GPT-4，结果很有意思，也很有分寸——论文的结论不是“大模型不行”，而是三句话： 1. **复杂的标准类题目，大模型普遍吃力**——问它某个流程在TS 38.331里的确切行为，它开始一本正经地编； 2. **泛泛的电信常识题，它表现不差**——“5G和4G有啥区别”这种题，答得头头是道； 3. **给模型注入电信知识上下文之后，成绩显著上升**——说明缺的不是推理能力，是行业知识底子。 第三条是最要命的。论文还把考卷发给了一线电信工程师做对照，结论是：大模型的知识水平已经能比肩在岗专业人员。换句话说，差距不在“聪明不聪明”，而在“读没读过规范”。 对干过核心网的人，这个结论毫不意外。我们这一行真正值钱的经验，全埋在几万页的3GPP文档、设备商的私有告警字典和老师傅的排障笔记里——这些东西恰恰不在通用大模型的训练语料里。让它解释PFCP会话为什么假在线，它可能给你背一段SF模板；你问它AMF侧N2接口的具体状态机，它开始发挥想象力。**2023年，行业第一次有了一把量出来的尺子：通用大模型，不能直接上岗。** ## 二、第一代专用模型：TelecomGPT是怎么炼成的 考卷出了，就有人照着答案炼模型。2024年7月，同一个核心团队（Hang Zou、Merouane Debbah等人）发布了**TelecomGPT**（arXiv:2407.09424），第一次给出了把任意通用大模型改造成电信大模型的完整流水线。 做法是标准的领域适配三段论： - **继续预训练（Continual Pre-training）**：拿电信专属语料——标准文档、技术资料——在通用底座上继续训练，把行业知识“灌”进去； - **指令微调（Instruct Tuning）**：构造电信任务的指令数据集，教它按工程师的方式干活； - **对齐微调（Alignment Tuning）**：用偏好数据教它输出符合行业口味的答案。 光炼还不够，得证明炼出了真本事。团队顺带造了三个电信行业此前没有的评测基准：**Telecom Math Modeling**（电信数学建模）、**Telecom Open QnA**（开放式问答）、**Telecom Code Tasks**（代码任务）。 成绩单上最硬的一条是：TelecomGPT在电信数学建模基准上**显著超过GPT-4、Llama-3和Mistral**；在TeleQnA、3GPP文档分类、电信代码摘要与生成等基准上达到相当水平。 数学建模这一项值得单独说说。网优和无线规划的本质是“推公式、算链路”——给一块覆盖空洞算个下倾角调整量，给一场演唱会做个容量预算。这类任务要求模型真的会推导，而不是复述网上抄来的结论。一个行业微调模型在这项上压过当时的GPT-4，等于宣告：**通用模型的天花板，领域模型可以捅破。** ## 三、行业开始统一打分：GSMA放了大招 各家模型都说自己强，自卖自夸没意义，行业需要一个统一的擂台。GSMA牵头搞出了 **Open Telecom Lite（OT-Lite）基准**，社区还运营起一个官方性质的 **Open Telco AI Leaderboard**——电信行业自己的大模型排行榜。各家模型，不管开源闭源、不管出身大小，都上同一张卷子，同一个榜单见分晓。 这件事的行业意义，怎么估都不过分。互联网大模型有MMLU、有HumanEval，电信行业此前一直没有公认的“高考”。没有统一评测，运营商选型只能听厂家PPT；有了榜单，27B的开源模型和万亿参数的闭源巨兽同台，谁的电信活儿好，数字说话。 对长期被“通用大模型能力焦虑”裹挟的通信行业来说，这是一次罕见的主动权回收：**考纲我们自己定，阅卷我们自己做。** ## 四、2026年擂台战报：小个子排队上台 2026年，擂台上真正热闹起来了。9月前后，两支团队接连放出战报，都把矛头对准了闭源巨头。 第一支还是Debbah所在的团队。8月，他们发布 **TelecomGPT-R1-9B**（arXiv:2608.26126）：以Qwen3.5-9B为底座，用一套6.7万样本的SFT语料加上GRPO强化学习（用DAPO稳定训练），让模型学会电信领域的**多步推理**——在GSMA开源电信模型中排名第一，七项公开基准的均值已经接近闭源前沿模型。三周后的9月，家族新旗舰 **TelecomGPT-R1**（arXiv:2609.25356）把训练语料扩到10.5万条，用DAPO加任务路由的评分奖励做强化学习，27B版本在GSMA Open Telco Leaderboard的七项基准上跑出**89.64%的均值**——论文的原文表述是：超过了包括GPT-5、Claude和Gemini在内的领先闭源模型。 第二支是H2LooP团队，走的是另一条路。他们的 **H2LooP Telecom Model v1**（arXiv:2609.22241）做了两个变体：一个专攻电信知识理解与推理，另一个是**代理（agentic）变体**——能自主生成电信代码、解决生产仓库里的PR、提交代码。训练语料非常“运维”：3GPP标准、O-RAN规范、网络遥测数据、真实代码仓库的提交记录。成绩是：OT-Lite Pass@3加权平均**81.8%**，在官方社区运营的Open Telco AI Leaderboard上以**31B参数排在总榜第5**——排在Claude Opus 4.6、GPT-5、Gemini 3 Flash、Grok-4-fast和Kimi K2.5这些闭源旗舰前面。更有说服力的是两条“副作用”数据：通用能力MMLU保持74.0%、多轮函数调用BFCL v3保持79.0%，**零灾难性遗忘**——专项训练没有把通用脑子练坏。 | 代际 | 时间 | 代表模型 | 参数规模 | 关键做法 | 公开成绩（论文自报） | |---|---|---|---|---|---| | 出考卷 | 2023.10 | TeleQnA | 一万道题 | 自动出题+人工把关 | 揭示GPT-4标准题失分 | | 第一代 | 2024.07 | TelecomGPT | 通用底座三段微调 | 继续预训练+指令+对齐 | 电信数学建模显著超GPT-4 | | 第二代 | 2026.08 | TelecomGPT-R1-9B | 9B | 6.7万样本SFT+GRPO/DAPO | 开源电信模型第一 | | 第二代+ | 2026.09 | TelecomGPT-R1 | 27B | 10.5万样本+任务路由奖励 | 七基准均值89.64%，超GPT-5 | | 同期 | 2026.09 | H2LooP v1 | 31B | 3GPP+O-RAN+遥测+真实代码仓 | OT-Lite 81.8%，官方榜单第5 | 必须说清楚边界：以上成绩全部来自**论文作者的评测报告**，其中榜单排名来自社区独立运营的Open Telco AI Leaderboard，属于第三方参照；但“超过GPT-5”的结论本身是论文自述，我未做独立复测。这也是读这类论文的基本姿势——数字要引用，结论留三分。 ## 五、四大能力轴，对准了运维的四个痛点 TelecomGPT-R1系列最有工程味道的设计，是把整个电信知识体系切成四条互补的“能力轴”：**协议（protocol）、知识（knowledge）、建模（modeling）、故障（fault）**。训练语料按轴组织，强化学习的奖励也按轴设计。这不是学术分类游戏，四条轴对应的恰好是运维一线的四类日常工作： | 能力轴 | 考什么 | 对应的一线工作 | 训练语料来源 | |---|---|---|---| | 协议 | 读3GPP规范做精确推理 | 查信令流程、对参数含义、核对规范行为 | 3GPP标准文档 | | 知识 | 电信领域常识问答 | 新人带教、方案评审、技术选型 | 公开行业资料 | | 建模 | 推导公式、精确计算 | 链路预算、容量规划、RF计算 | 数学建模题目 | | 故障 | 读告警日志做根因推理 | 故障定位、工单处理、复盘报告 | 故障证据与运维日志 | 作为干了十八年核心网的人，我对这套划分的观感是：**它比大多数“AI运维”宣传稿诚实。** 宣传稿喜欢说“AI包治百病”，而这四条轴承认了一个事实——运维知识是分层的，一个能把告警日志读明白的模型（故障轴），和一个能精确回答“这个计时器超时后终端该做什么”的模型（协议轴），需要的训练数据、推理方式和验证手段完全不同。混在一起训练，往往两头不讨好；按轴拆开，每条轴都能配上可验证的评分器，强化学习才有抓手。 H2LooP的代理变体则补上了另一块拼图：**从“会答题”到“会干活”**。在电信代码生成任务上，代理变体相对底座的AST相似度提升8.8%、Location IoU（错误定位的交并比）提升20.0%——翻译成人话：它不仅代码写得像样，还能自己找到该改哪里。这对网管系统二次开发、自动化脚本维护这类活，是直接可用的能力。 ## 六、一条故障工单的AI推理链 把四条轴串起来，看一条真实故障工单在电信专用大模型手里的处理路径。以下流程是基于论文所述能力轴的**示意性推演**，不代表任何已上线产品的实际实现： ```mermaid flowchart TD A[网管告警
小区退服] --> B[故障轴
读告警与日志] B --> C[初步假设
传输中断或板卡异常] C --> D[协议轴
查规范确认影响面] D --> E[知识轴
比对历史类似工单] E --> F[建模轴
估算影响用户数] F --> G{置信度够高吗} G -->|是| H[生成处置建议
附依据与风险] G -->|否| I[转人工
附推理过程] H --> J[工程师复核后执行] I --> J J --> K[结果回流
更新训练语料] ``` 这个闭环里最关键的是两个设计：**每个结论必须带依据**（引用了哪条规范、哪条日志），以及**置信度不够就转人工**（而不是硬编一个答案）。TelecomGPT-R1论文里“可验证推理单元”的思路——把思维链拆成一段段可机器验证的推理步骤——正是为了这个：让强化学习的奖励来自可验证的电信证据，而不是让模型学会“说起来像那么回事”。 ## 七、冷思考：榜单高分不等于生产可用 给这波热潮泼三瓢冷水，都是个人观点，供参考： **第一，考纲再全也是考纲。** 七项公开基准覆盖了协议、知识、建模、故障，但生产网里最难的从来不是知识本身，而是数据进得来、责任说得清。模型再强，网管数据不出生产网的安全红线不会为它改；它给出的处置建议出了事，责任主体还是人。3GPP在许多流程上允许不同实现，各厂家的私有参数字典和告警语义更是五花八门——通用电信模型能覆盖公共部分，私有部分仍要靠运营商和设备商自己做领域适配。 **第二，“超过GPT-5”的口径要看清。** 那是“电信基准上的均值超过”，不是全能力超过。H2LooP论文自己就很坦率：MMLU 74.0%，这个通用分在闭源旗舰面前毫无优势。行业模型赢在主场，客场依然是我的团长我的团——各打各的仗。选型时拿“电信榜单排名”直接替换“通用能力排名”，或者反过来，都是读错题。 **第三，这条赛道的真正门槛在语料。** 看看数字：6.7万条、10.5万条——相比通用大模型动辄万亿token的训练量，电信语料是“小米加步枪”。高质量、带推理链、可验证的行业数据，才是这场竞争里最稀缺的资产。这恰恰是运营商和设备商手里最值钱的家底：几十年积累的工单、告警、割接记录。谁把这些数据治理好、标注好，谁就掌握下一轮话语权——这也解释了为什么H2LooP要把“真实仓库提交记录”当宝贝写进语料清单。 两年，从一个一万道题的考卷，到开源小模型在行业榜单上掀翻闭源巨人——电信大模型这条线，大概是AI进通信网以来**进步速度最快、且全程可公开验证**的一条。对运营商来说，现在该做的不是观望，而是把自家的高价值运维语料盘出来：擂台已经搭好，卷子已经有了，缺的是你自己那支笔。 ## 参考来源 1. [TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge](https://arxiv.org/abs/2310.15051) — 首个电信大模型基准，一万道题，2023年10月，验证GPT-4在标准类题目上失分 2. [TelecomGPT: A Framework to Build Telecom-Specific Large Language Models](https://arxiv.org/abs/2407.09424) — 第一代电信专用大模型流水线，三段微调+三个新基准，2024年7月 3. [TelecomGPT-R1: Unified Post-Training for Reasoning Across Heterogeneous Telecom Tasks](https://arxiv.org/abs/2609.25356) — 27B开源电信推理模型，GSMA榜单七基准均值89.64%，2026年9月 4. [TelecomGPT-R1: A Unified Open-Source Reasoner for the Telecom Stack](https://arxiv.org/abs/2608.26126) — 9B版本，四能力轴训练框架，开源电信模型第一，2026年8月 5. [H2LooP Telecom Model v1: From Telecom Comprehension to Autonomous Issue and PR Resolution](https://arxiv.org/abs/2609.22241) — 31B行业模型，OT-Lite 81.8%，官方Open Telco AI Leaderboard第5名，2026年9月 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。