# 一次写完整段：扩散模型如何颠覆逐字AI ## 导语：为什么这个视频值得你专门腾出半小时 如果你用过 ChatGPT、Gemini、Claude，你一定熟悉那个"打字机"效果——模型一个词一个词地往外吐，像在键盘上慢慢敲。这不是 bug，而是这类模型骨子里的工作方式：**自回归（autoregressive）**。它只能从左到右、一个 token 接一个 token 地预测，整段话的生成时间与长度严格成正比。十年来，几乎所有人默认"大语言模型就该这么工作"。 但 Julia Turc 的这支视频《Text diffusion: A new paradigm for LLMs》（24 分钟，10 万+ 播放）干净利落地撕开了这个默认假设。她讲的不是又一个 GPT 升级，而是一种**把图像扩散模型的思路搬进文本**的新范式——扩散语言模型（Diffusion Language Model, dLLM）。它不再逐字生成，而是**像画图一样，从一团模糊的噪声/掩码里，几步之内把整段话一次性"擦"出来**。代表作品 Inception Labs 的 Mercury 系列实测能做到每秒上千 token，比同体量的自回归模型快十倍量级；2026 年的 Mercury 2 还让它学会"推理"。 这意味着什么？意味着实时 AI agent、端侧大模型、廉价推理的瓶颈可能被从根上撬动。这篇文章我会把视频的核心论点拆成 8 块，补足它来不及展开的技术背景，并告诉你：作为一个关注技术的人，你现在该怎么看待这场静悄悄的范式之争。 ## 视频背景卡片 | 项目 | 内容 | |------|------| | 视频标题 | Text diffusion: A new paradigm for LLMs | | 频道 | Julia Turc | | 时长 | 约 24 分钟 17 秒 | | 播放量 | 10.8 万+ | | 发布 | 2025 年 10 月 6 日 | | 核心主题 | 用扩散模型（而非自回归）生成文本的范式革命 | ## 核心内容拆解 ### 一、词接词的牢笼：自回归范式的根本瓶颈 视频的开篇立论很清晰：今天几乎所有的旗舰大模型——GPT 系列、Llama、Claude、Gemini——都建立在同一个动作上：**给定前面所有的 token，预测下一个 token**。这就是自回归。数学上，一句话的概率被拆成 P(w₁)×P(w₂|w₁)×…×P(wₙ|w₁..wₙ₋₁)，模型必须**严格按顺序**逐项算出来。 这套机制的优点是简单、稳定、可堆规模，但它有一个被长期忍受、却很少有人正面挑战的代价：**生成是串行的**。要写出第 1000 个 token，你必须先算完前 999 个，谁也跳不过去。视频把这比作"只能一笔一笔画、不能整体起草"的书写方式。延迟随长度线性增长，吞吐被锁死。这也是为什么自回归模型在"思考链（chain-of-thought）"上特别烧钱——多想几步，就得多生成几百个串行 token。 > 这部分是视频原话的延伸。我要补充一个被她一笔带过的关键点：自回归的串行性不仅是"慢"，更是**架构性的不可并行**。即便你用上投机解码（speculative decoding）、KV cache 这些工程优化，本质上你仍然是在"加速串行"，而不是"打破串行"。而扩散模型走的是第二条路。 ### 二、像画图一样写文章：扩散如何搬进文本 视频的第二层，是把图像扩散的直觉迁移过来。你可能知道 Stable Diffusion 是怎么画图的：从一张纯噪声开始，模型一步步**去噪（denoise）**，几十步之后一张清晰的图就"浮现"出来。每一步，模型都在同时修正整张图的所有像素，而不是从左上角画到右下角。 文本能不能这么干？难点在于**文本是离散的**——一个 token 要么是"猫"，要么是"狗"，没有"半猫半狗"可以连续去噪。于是研究者们用了一个巧妙替代：**掩码扩散（masked diffusion）**。把目标句子先全部盖成 `[MASK]`（就像图里的噪声），然后在若干步（比如 10 到 50 步）里，每一步都同时预测所有掩码位置"最可能是什么"，再揭开一部分。几步之后，整段话一次性成型。代表方法包括 SEDD（Score Entropy Discrete Diffusion，2023）、MDLM（Masked Diffusion Language Models，2024）、以及开源的 LLaDA（2025）和商业化的 Mercury。 > 这里我替视频补一句技术细节：纯掩码扩散会逐渐"硬化"（从软概率到硬 token），这跟图像里连续去噪的数学不完全对应，所以训练目标和采样策略都需要专门设计（比如 SEDD 用"得分熵"、LLaDA 用带 RoPE 的掩码 transformer）。这也解释了为什么文本扩散比图像扩散晚了几年才真正可用——离散空间更难。 ### 三、一次写完一整段：并行解码的吞吐革命 这是整个视频最值钱的一个观点，也是扩散语言模型最大的卖点。自回归生成一句 1000 token 的话，需要 1000 次串行的模型前向计算；而扩散模型把它压缩成**固定步数的去噪**（比如 10 步），每一步内部**所有位置同时算**。也就是说，生成延迟几乎只和"去噪步数"挂钩，跟句子长度的关系大大削弱。 视频用 Inception Labs 的数据说明效果：Mercury Coder 在同款硬件上，吞吐量是同体量自回归模型的约 10 倍，能做到每秒上千 token。在我的延伸核查里，业界常被引用的一组对比是：Mercury Coder Mini 在 H100 上约 **738 tokens/s**，而 GPT-4o mini 量级的自回归模型在同一硬件上约 **148 tokens/s**——大约五倍差距；Mercury Coder Small 据报告可到 **1100+ tokens/s**。（这些是厂商与社区基准中的常见数字，存在测试条件差异，趋势性结论是可靠的：**同算力下，吞吐量级跃升。**） > 我的判断：对个人用户，"从 2 秒变 0.3 秒"也许只是爽不爽；但对云端推理和实时 agent，这是**成本结构级的改变**。推理占了大模型公司运营成本的大头，吞吐翻十倍，等于同样的 GPU 能服务十倍的用户，或者同样的用户体验花十分之一的钱。这是商业层面的杀伤力。 ### 四、Mercury 的破局：把扩散 LLM 做成商品 视频没有停留在论文层面，而是重点讲了 **Inception Labs 的 Mercury**——它被广泛认为是**第一个真正能上生产的扩散大语言模型**。Mercury Coder（Mini / Small）专注于代码生成，证明了这套范式不只活在论文里。它的意义在于：之前文本扩散在通用质量上一直追不上自回归，Mercury 第一次把"快"和"够用"同时做到，让企业有理由去替换或补充现有方案。 我补充一个视频未展开的背景：文本扩散的工业化难点在于**规模定律（scaling laws）尚未成熟**。自回归有 Chinchilla 那套"算力—数据—参数"的清晰配比，社区积累深厚；文本扩散的训练稳定性、采样步数与质量的权衡，都还在早期。Inception Labs 的核心贡献，是把学术界的掩码扩散打磨成可商用、质量达标的产品，补上了"工程化"这块最难的拼图。这背后是斯坦福 Stefano Ermon 团队多年在扩散模型和离散生成上的积累——Latent Space 播客曾对他做过一期专门访谈，值得对照看。 ### 五、Mercury 2 的质变：扩散模型也会"思考" 如果说 Mercury 是"快"，那 2026 年的 **Mercury 2** 就是"快而且会推理"——这也是为什么这个话题现在尤其值得讲。早期扩散模型有个被诟病的短板：复杂推理（数学、多步逻辑）不如会"思考链"的自回归模型。Mercury 2 把推理能力塞进了扩散框架，官方与社区一致用"the first reasoning diffusion model"来形容它，并仍保持 1000+ tokens/s 的速度、更低的成本。 为什么这件事比"又一个快模型"更重？因为**推理是大模型当前最贵的负载**。一个 o 系列或 R 系列模型回答一道难题，可能要先生成几千个思考 token，串行成本极高。如果扩散模型能用固定几步去噪来完成类似的"逐步打磨"，那么"会思考的 AI"的单位成本可能被砍掉一个数量级。这是范式之争从"够不够快"升级到"能不能接管推理"的关键一跳。 > 这一段我标注清楚：Mercury 2 的具体推理质量与各类基准的横向对比，社区仍在快速变化，我引用的是其公开定位与趋势，不替任何一方背书具体数字。 ### 六、被忽视的超能力：可填空、可改主意 视频里有一块内容非常亮眼，却容易被"速度"盖过——扩散语言模型天生支持一些自回归模型做起来很别扭的事： - **文本填空（infilling）/ 编辑**：自回归只能从左往右续写，要改中间一句话得靠特殊训练或"乱序解码"。掩码扩散本就在"指定位置揭字"，填空、编辑是它的原生能力。 - **可控制的生成**：可以锁定某些 token 不动，只让模型去噪其余部分，天然适合受约束生成、约束求解。 - **能"改主意"**：自回归写错开头往往一路错到底（暴露偏差，exposure bias）。扩散在去噪的每一步都能整体调整，理论上更擅长自我修正。 这些特性对**代码补全、文档重写、结构化生成**特别有价值。我的延伸判断：未来"非顺序、可编辑、可约束"的生成场景，扩散可能是比自回归更自然的底座。 ### 七、难题与暗礁：质量、稳定性与规模定律 要做平衡的分析师，就必须讲清楚它现在还不够好的地方。视频也点到了这层： 1. **绝对质量仍在追赶**。在最顶尖的通用能力、长链推理上，扩散模型整体还落后于最强的自回归模型。LLaDA 8B 在不少基准上能跟 Llama3-8B 掰手腕，这是重大进步，但离前沿模型还有距离。 2. **训练与采样的工程体系远不如自回归成熟**。KV cache、投机解码、分布式训练的整套生态都是为自回归量身打造的，扩散要复用，需要大量改造。 3. **规模定律不明**。投多少算力、配多少数据、采样多少步最优，缺乏像 Chinchilla 那样的共识。 换句话说，扩散语言模型今天处于"**已被证明可行、并在快速逼近**"的阶段，而不是"已经全面超越"。这场范式之争远未结束，最可能的终局是**混合**：自回归做长链推理主脑，扩散做高速、可编辑、并行的执行层。 ### 八、谁会被颠覆：实时 agent、端侧与推理经济学 最后，视频收束到一个对每个人都重要的判断：这场技术变化会先在三个地方炸开。 - **实时 AI agent**：agent 需要频繁、低延迟地生成短响应（工具调用、状态判断），扩散模型的并行解码几乎是为此量身定做。 - **端侧大模型**：手机、机器人的算力和带宽有限，吞吐翻倍意味着"本地跑得动"的门槛大幅下移。 - **推理成本**：如前所述，把"思考"的单位成本打下来，是整个 AI 商业模型的最大变量。 我的总结性观点：不要把它理解成"自回归要被替代"，而要理解成**大模型的"解码器"正在从一个垄断选项，变成一个有竞争的市场**。有竞争，就有降价、有创新、有新应用。这才是这件事对普通人最实在的意义。 ## 知识结构图 ```mermaid flowchart TD A[大语言模型
LLM 生成范式] --> B[自回归 Autoregressive
GPT/Llama/Claude] A --> C[扩散 Diffusion
Mercury/LLaDA/SEDD] B --> B1[逐 token 左→右预测] B --> B2[串行: 延迟 ∝ 长度] B --> B3[长链推理强, 但贵] B --> B4[填空/编辑弱] C --> C1[掩码扩散: 全程并行去噪] C --> C2[固定步数解码] C --> C3[吞吐 ~10x, 1000+ tok/s] C --> C4[原生填空/编辑/可约束] C --> C5[Mercury2: 加入推理] B2 --> D[瓶颈: 串行 + 推理成本] C3 --> E[机会: 实时Agent / 端侧 / 廉价推理] D -.融合.-> F[终局: 混合架构
AR主脑 + 扩散执行层] E -.融合.-> F ``` ## 实战启示：你能拿这些做什么 **如果你是开发者 / 架构师**：现在就值得把"扩散语言模型"放进你的技术雷达，并做一次小规模 PoC。重点关注三类场景的替换或补充——(1) 高吞吐的代码补全与文档改写（Mercury Coder 系列已可用）；(2) 实时 agent 里短而频的响应生成；((3) 需要文本填空、受约束生成的结构化输出任务。注意别立刻把生产链路从自回归整体迁过去，更稳的做法是**双底座**：保留自回归做长链推理，用扩散跑高频短任务，按场景路由。 **如果你是技术决策者**：盯紧"单位推理成本"这个指标。一旦扩散模型在质量上追平某个你常用的能力档，吞吐优势会直接转化成账单优势。建议把它当作"成本对冲"选项来跟踪——当自回归 API 涨价或限流时，扩散方案就是你的 plan B。 **如果你是关注 AI 的普通人**：记住一句话——**"逐字生成"从来不是大模型的物理定律，只是一个被沿用十年的工程惯例**。当一个惯例被打破，受益的最终是用户体验（更快）和钱包（更便宜）。下次看到某个 agent "快得反常"，背后很可能就是扩散解码。 **一个可执行的认知升级**：以后评估任何大模型，别只看"参数多大、榜单多高"，要同时看它的**解码范式与吞吐**。在 agent 与端侧时代，"快"本身就是一种智能。 ## 延伸学习路径 1. **核心视频**：Julia Turc《Text diffusion: A new paradigm for LLMs》——本文分析的对象，系统讲清范式。 2. **一手访谈**：Latent Space 对 Inception Labs CEO Stefano Ermon 的 Mercury 专访，听当事人讲商业化与工程化取舍。 3. **开源对照**：LLaDA 论文《Large Language Diffusion Models》（Nie et al., 2025, arXiv:2502.09992）+ 开源权重，可以自己跑，对照 Llama3-8B。 4. **理论根基**：SEDD《Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution》（arXiv:2310.16834），理解离散扩散为什么难、怎么解。 5. **保持跟踪**：Inception Labs 官网与 Mercury 系列 release notes，以及 r/LocalLLaMA、Latent Space 对文本扩散的持续报道，跟进质量与规模定律的最新进展。 ## 一句话总结 > 当大模型不再被迫一个字一个字地写，而是像画画一样几步成型、还能边写边改，"逐字生成"这个被默认了十年的惯例就被撬动了——这或许才是下一轮 AI 成本与速度革命真正的发令枪。 --- ## 参考来源 1. [Text diffusion: A new paradigm for LLMs — Julia Turc](https://www.youtube.com/watch?v=bmr718eZYGU) — 本文分析的核心视频（24 分钟，10.8 万+ 播放） 2. [Mercury 2: The First Reasoning Diffusion Language Model — Developers Digest](https://www.youtube.com/watch?v=quOe8V2n9rU) — Mercury 2 推理扩散模型速览 3. [Mercury: Ultra-Fast Diffusion LLMs — Latent Space × Stefano Ermon](https://www.youtube.com/watch?v=2fDBeMu6xjk) — Inception Labs CEO 一手访谈 4. [LLaDA: Large Language Diffusion Models (Nie et al., 2025) — arXiv:2502.09992](https://arxiv.org/abs/2502.09992) — 开源 8B 文本扩散模型论文 5. [SEDD: Discrete Diffusion Modeling by Estimating Ratios of the Data Distribution — arXiv:2310.16834](https://arxiv.org/abs/2310.16834) — 离散扩散的理论根基 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。