首页 › glossary › 什么是MoE专家混合？给AI开一家专科医院

MoE专家混合，说白了就是把一个“什么都要会”的巨型AI，改造成一家“分科室”的专科医院——来了问题先过分诊台，只叫醒最对口的两位专家，剩下几百位继续睡觉。 病人得到了专科级的诊治，医院却不用全员加班。最近你听到的DeepSeek、Kimi、通义千问为什么又大又便宜，秘密几乎都在这三个字母里：Mixture of Experts。

这篇文章用一次“看病”的时间，把MoE讲明白。

目录

  1. MoE是什么？——AI界的专科医院
  2. 为什么最近这么火？——从1991年的老论文到2026年的价格战
  3. 一张图看懂——分诊台如何调度几百位专家
  4. 和我有什么关系？——普通人、从业者、投资者各看一眼
  5. 一分钟总结
  6. 延伸阅读 + 参考来源

一、MoE是什么？AI界的专科医院

先说它解决的问题。AI圈有条铁律：模型越大越聪明，也越贵。想让AI更博学，就得把参数（可以理解为AI脑细胞里存的“知识条目”）往大了堆，堆到千亿、万亿级。可如果每次回答问题都要动员全部脑细胞，电费和算力会贵到怀疑人生——这就好比看个感冒，医院却通知全院三千名医生集体会诊。

MoE的思路是反着来的：知识照堆，但每次只动用一小部分。

具体怎么拆？把大模型里最“吃参数”的那层（前馈网络，你可以想象成脑子的知识仓库），复制成很多份，每一份就是一个专家（Expert）——其实不是真专家，就是一支只擅长某类活计的小分队。然后在旁边装一个小小的路由器（Router，也叫门控网络），它相当于医院的分诊台：看你这句话像哪类问题，就决定叫哪几个专家出诊。通常只挑表现最好的两三个，这叫Top-2或Top-k；其余专家一律不参与计算，这叫稀疏激活。

于是出现了MoE最迷人的两个数字：

举个真实例子：DeepSeek-V3总参数6710亿，每个词只激活370亿——上班率约5.5%。Kimi K2更夸张，一万亿总参数，每次只唤醒320亿，上班率3.2%。这就是“千亿大脑、几十亿的电费账单”的来历。

顺带修一个常见误会：MoE里的“专家”是训练中自己长出来的分工，人类并没有给他们发“数学系”“语文系”的聘书。研究发现他们确实各有偏好（有的爱管标点，有的爱管代码），但边界模糊——更像自发形成的老中医各看各的擅长科。

还有一种常见变体叫共享专家：不管什么病，都有一位“全科医生”跟着出诊，处理公共常识，剩下才由路由器挑专科。DeepSeek系列用的就是这套。

当然，这家医院也有自己的麻烦，后面第四节细说。

二、为什么最近这么火？从1991年的老论文到2026年的价格战

MoE不是新词，它是一位“沉睡了三十年突然翻红”的老将：

真正的引爆点在2024年底到2025年。DeepSeek-V3发布，论文口径下正式训练只用了约279万GPU小时、折合约558万美元，就训出了6710亿总参的旗舰模型（注意：这是纯训练账单，不含前期研究投入，全流程成本更高）——价格震撼直接掀了全球AI产业的桌子。之后开源旗舰几乎清一色MoE：通义千问的Qwen3-235B-A22B（型号名里就写着总参2350亿、激活220亿）、月之暗面的Kimi K2（一万亿总参）、Meta的Llama 4首次改用MoE架构、连OpenAI都放出了MoE架构的开放权重模型gpt-oss。

进入2026年，这把火又烧出了两个新热点：

一是价格战。推理成本（AI每答一次话的钱）成了各家比拼的生命线，而MoE正是“又大又便宜”的经济学基础。你感觉各大AI助手越来越便宜、甚至白送，背后是模型在“上班率”上卷生卷死。

二是算力基建。MoE的训练和推理需要把不同专家分布在不同GPU上（术语叫专家并行），专家之间要频繁交换数据，产生的“多对多”流量洪峰正在倒逼智算中心升级内部网络——无损以太网、RDMA高速直连这些原本属于超算的词，如今成了运营商和云厂商组网的日常考题。对通信行业的人来说，AI越省算力、网络越值钱，这是个值得盯着的风向。

一句话总结火的原因：所有玩家都想要“大模型的聪明、小模型的账单”，而MoE是目前唯一跑通的答案。

三、一张图看懂：分诊台如何调度几百位专家

flowchart TD
    Q[你的问题进了大门] --> R[路由器充当分诊台]
    R -->|判断该挂哪个科| E1[语言专家被叫醒]
    R -->|顺手加挂一个辅科| E2[数学专家被叫醒]
    R -.->|其余专家继续休假| E3[几百位专家在睡觉]
    E1 --> S[两份意见合并出诊]
    E2 --> S
    S --> A[答案又快又便宜]

对照一下传统模式：稠密模型（Dense，即“全员上班”模型）相当于不设分诊台，来一个病人全院三千医生齐刷刷起立——效果当然好，账单也感人。MoE砍掉的正是这种浪费。

四、和我有什么关系？

如果你是普通人：你已经在享受MoE的红利了。AI助手会员费一降再降、网页版越用越便宜，是因为厂商按“激活参数”付电费而不是按“总参数”；近几年消费级显卡、甚至高性能手机能跑本地大模型，也是因为出现了激活参数仅30亿量级的“小上班率”MoE。下次看模型宣传页，学会先找两个数：总参数多大？激活参数多大？——这比只看“我是千亿大模型”实在得多。

如果你是从业者：通信人请重点看“专家并行”。几百个专家分布在几百张GPU上，每次推理都要在机柜间掀起all-to-all的通信风暴，这对数据中心网络的带宽、时延、丢包敏感度提出了苛刻要求——RDMA、无损网络、光互联的订单正从这里长出来。做网优、做云网融合的，MoE的组网需求是值得提前押注的新场景。算法岗则要补课负载均衡：路由器若偏心，病人全涌向网红科室，冷门专家饿死、网红专家挤爆（术语叫“专家坍塌”），训练时要靠辅助损失、专家容量上限这些机制强行“排队挂号”。

如果你是投资者：记住MoE的账本两面性。利好面：同等算力预算下，MoE模型能力上限更高，利好能高效调度算力的云厂商、推理服务商，以及被all-to-all流量养肥的网络设备商。风险面：显存门槛没降反升——全院医生的工资照发（所有专家都得驻留显存），中小玩家本地部署反而更难；路由机制也让微调、量化的工程难度高于稠密模型，“开源了但普通企业玩不动”的落差真实存在。看到“万亿参数”的宣传，先问一句：激活多少、显存谁出？

五、一分钟总结

  1. MoE专家混合，就是把大模型拆成“几百个专科+一个分诊台”，每次只叫醒最对口的少数专家。
  2. 总参数决定模型多聪明，激活参数决定每次多贵——DeepSeek-V3的上班率只有约5.5%。
  3. 点火链条：1991年老想法→2021年Switch Transformer→2023年底Mixtral开源→DeepSeek价格震撼→如今旗舰标配。
  4. 它是“AI越来越聪明、用起来却越来越便宜”这件事的技术底座。
  5. 代价是显存门槛和工程复杂度，顺便把数据中心网络推成了新的受益方。

延伸阅读

参考来源

  1. Mixture of Experts Explained — Hugging Face官方博客 — MoE核心机制、Switch Transformer与Mixtral等代表模型参数、负载均衡与显存代价的技术综述（本文主要核查来源）
  2. Mixture of experts — Wikipedia — MoE概念起源与演进历史的交叉验证
  3. Switch Transformers论文 — arXiv — 万亿参数、Top-1路由与4倍预训练加速的原始出处
  4. DeepSeek-V3技术报告 — arXiv — 6710亿总参/370亿激活的官方数据与训练成本披露

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入

📎 本分类最新文章