首页 › tech › 打字机变编辑器:扩散LLM为何快十倍

打字机变编辑器:扩散LLM为何快十倍

为什么这个视频值得你点开

过去七年,你用过的每一个大模型——GPT、Claude、Gemini、Llama——本质都是同一台机器:打字机。从左到右,一个 token 接一个 token,每敲下一个字母就立刻"锁死",不能回头。一旦第三个词选错了,后面整段话只能硬着头皮往下编,错误像滚雪球一样累积,这正是 LLM "一本正经胡说八道" 的结构性根源。

2026 年初,Inception Labs 发布的 Mercury 2 砸碎了这台打字机。它把图像领域早已称王的扩散模型(Diffusion)搬进了文本世界:不从左到右逐字写,而是先铺一整页"噪声草稿",然后像编辑改稿一样,几个来回就把整段话同时打磨清晰。结果是同一个 NVIDIA Blackwell GPU 上,1009 tokens/秒——比 Claude Haiku 4.5、GPT-5 mini 快了十倍,端到端延迟从 23.4 秒压到 1.7 秒。

这条《Mercury 2: The Language Model That Edits Instead of Predicts》之所以值得做深度解读,不只是因为它跑得快。它提出一个被忽视已久的根本问题:逐 token 预测从来不是物理定律,只是一个工程选择。 而一旦换掉这个选择,速度、成本、幻觉、Agent 循环效率——一连串连锁反应都会被重写。

视频背景卡片

项目 内容
视频标题 Mercury 2: The Language Model That Edits Instead of Predicts
频道 Attention Span(开发者向 AI 解读频道)
发布时间 2026 年 2 月(Mercury 2 发布同期)
核心主题 首个基于扩散(Diffusion)而非自回归(Autoregressive)的商用推理 LLM
关键数字 1009 tok/s、128K 上下文、AIME 2025 达 91.1、$0.25/$0.75 每百万 token
出品方 Inception Labs(斯坦福 Stefano Ermon 团队,DDIM 作者)

核心内容拆解

一、所有 LLM 共享的同一道"速度天花板"

视频开篇就戳破一个误区:大家以为各家的模型各不相同,其实底层生成逻辑是同一套。自回归(Autoregressive, AR)生成是串行的——要生成第 50 个 token,必须先有第 49 个;要第 49,必须有第 48。每一个 token 都要触发一次穿过数十亿参数的完整前向传播。

这就形成了一道硬天花板。你可以堆更好的硬件、做批处理、上投机解码(speculative decoding)、做 KV cache,但逃不掉"一次只能吐一个字"这个核心约束。在 H100 上,最快的 AR 模型也就 150–200 tokens/秒封顶;Claude 4.5 Haiku 推理模式约 89 tok/s,GPT-5 mini 约 71 tok/s。Groq、Cerebras 甚至专门造新芯片去撞这道墙,代价是绝大多数团队拿不到的定制硅。

我的延伸: 很多人把"模型慢"归咎于参数多、算力不够,但真正的元凶是内存带宽(memory bandwidth)。AR 推理是"带宽受限"的——每生成一个 token,都要把全部权重从显存搬到计算单元,但做的运算相对很少,于是昂贵的 tensor core 大量时间在空转。Mercury 的聪明之处在于:它不是靠加硬件提速,而是从模型架构层面把瓶颈从"带宽"换成了"计算",让 GPU 真正忙起来。

二、扩散怎么"画"出文字

视频用了一个非常精准的类比:AR 是打字机,Mercury 是编辑。这背后是扩散机制对文本的移植。如果你用过 Stable Diffusion 生成图片,核心思路其实一样:

  1. 前向过程(训练时): 拿真实文本,逐步"加噪"——每个噪声等级下,随机替换掉一部分 token,直到整段变成纯随机噪声。模型学习的是逆向:给定任意噪声等级的脏序列,预测干净的文本该长什么样。
  2. 反向过程(生成时): 从一串纯随机 token 出发,反复运行去噪模型。每一步,模型同时预测多个 token 的改进,而不是只生成一个。

关键区别就在这里:AR 是 token1 → token2 → token3 串行;Mercury 是先同时铺出所有 token 的粗糙草稿,再用 8–16 个来回逐步精修。早期步骤做"粗调"——把主题、句式、关键词大致定下来;后期步骤做"微调"——精确选词、标点、语法一致性。

我的延伸: Andrej Karpathy 有一句很到位的总结——AR 模型是从左到右、一次一个;扩散模型根本不区分左右,它是"从模糊到清晰,且处处同时"。这更接近人类真正的思考方式:你不会一个字一个字地想,你是先抓住整个想法,起草、修改、推翻、再定稿。

三、为什么这样反而快得多

这是全文最反直觉、也最关键的一环。一段 500 token 的回答,AR 需要 500 次串行前向传播;Mercury 无论输出多长,总共只要 8–16 步精修。

原因在于算术强度(arithmetic intensity)——即计算量与内存访问量的比值。AR 推理每次都要搬全量权重、算得少,GPU 干等内存;扩散的每一步在全序列上并行做大量矩阵乘法,正好踩中现代 GPU 的设计甜区——成千上万核心同时跑海量并行矩阵运算。于是同一块 GPU,tensor core 从空转变成满载。

数字摆得很清楚:Mercury 2 在 Blackwell 上跑出 1009 tok/s,是 Haiku、GPT-5 mini 的十倍以上;端到端延迟 1.7 秒 对 23.4 秒。注意——这份速度红利不来自基础设施优化,而来自模型本身。这才是它真正震撼的地方:你不是靠更贵的硬件变快,而是靠换一种"生成姿势"变快。

四、被低估的"内置纠错"——扩散天然抗幻觉

视频和后续技术解读都强调了一个 AR 模型结构性缺失的能力:纠错。

AR 有"承诺问题":第 30 个 token 一旦生成,就被永久锁死。如果它错了,后面每个 token 都得围着这个错误编下去,错误级联(cascade)——这正是幻觉的温床。扩散没有这个病。因为每一步都在重新精修整段文本,第 30 个位置的失误可以在下一个精修回合里被全局修正。模型始终能看到自己的完整草稿,包括自己刚写的"半成品",从而在全球范围内修复矛盾。

Inception 称这种机制能显著降低幻觉。需要客观说明的是:他们尚未公布详细幻觉基准,所以这更应被视为"符合机理的合理推论"而非"已被证实的结论"。但机理是站得住的——迭代式全局精修,确实应该比单次从左到右的生成更能捕捉自相矛盾。

我的判断: 这是扩散架构最被低估的红利。十倍速度足够抓眼球,但"可纠错"才是可能真正改变 Agent 可靠性的东西——后面会展开。

五、扩散能做 AR 做不了的事

除了快和准,扩散还解锁了 AR 在结构上不可能实现的能力:

六、不要神化它:真实的代价与边界

一个有分量的解读必须说清短板,否则就是带货。Mercury 2 不是银弹:

  1. 前沿质量还有差距: 它对标的是 Haiku 级、Mini 级模型,不是 Claude Opus 或 GPT-5 这类旗舰。在最难的任务上,AR 旗舰仍领先。它的定位是"速度+推理"赛道,而非"绝对智商天花板"。
  2. 流式体验变了: AR 是边想边吐字,你能看着回答逐字成形;扩散是整段一起生成、完成后一次性呈现。对聊天 UX 来说是一次"停顿后整段蹦出"的转变。好在 1.7 秒延迟让这个体感差异基本可忽略,但确实是不同的交互范式。
  3. 成熟度: AR 被 GPT-2 以来打磨了七年多,整个推理栈(vLLM、TensorRT-LLM)都是围绕 AR 假设构建的。扩散文本要进入主流,整条工具链都得改造。
  4. 那个悬而未决的"Karpathy 之问": 为什么图像偏爱扩散、文本偏爱自回归?答案是语言有强烈的从左到右依赖(句首约束句尾多于反向),而图像信息是空间分布的。Mercury 证明扩散也能做文本,但能否在前沿规模追平 AR 质量,仍未被证明。

知识结构图

flowchart LR
    subgraph AR["自回归 AR(打字机)"]
        A1["输入"] --> A2["token 1<br/>锁死"]
        A2 --> A3["token 2<br/>锁死"]
        A3 --> A4["token 3<br/>锁死"]
        A4 --> A5["...串行 N 步<br/>错误级联"]
    end

    subgraph DIFF["扩散 Diffusion(编辑器)"]
        D1["纯噪声草稿<br/>全部 token"] --> D2["第1步精修<br/>粗调主题句式"]
        D2 --> D3["第2步精修<br/>局部纠错"]
        D3 --> D4["第8-16步<br/>微调选词"]
        D4 --> D5["一次输出<br/>可全局纠错"]
    end

    AR -. "换生成姿势" .-> DIFF

    DIFF --> R1["算术强度↑<br/>GPU 满载"]
    DIFF --> R2["1009 tok/s<br/>快十倍"]
    DIFF --> R3["1.7s 延迟<br/>Agent 高速循环"]
    DIFF --> R4["内置纠错<br/>抗幻觉/可填充"]

    style AR fill:#fde2e2,stroke:#c0392b
    style DIFF fill:#e2f0d9,stroke:#27ae60
    style R2 fill:#fff3cd,stroke:#f39c12

实战启示

对应用开发者: latency 敏感场景重新选型。 如果你做实时语音 Agent、代码补全、浏览器自动化这类对延迟零容忍的产品,Mercury 2 的 1.7 秒端到端延迟完全是另一个量级。它还是 OpenAI API 兼容——换 base URL、模型名、API key 即可接入,128K 上下文、原生工具调用、结构化输出、RAG 全有,定价 $0.25/$0.75 每百万 token,是高吞吐 Agent 工作负载里最具性价比的推理模型之一。Skyvern(浏览器自动化)已在生产中用它并报告"至少比 GPT-5.2 快两倍",Zed 编辑器集成后称"建议快得像你自己的思考"。

对 Agent 构建者:从"更聪明"转向"更快迭代"。 这是我认为视频之外的延伸里最值钱的洞察。ajfisher 的推演点透了一层:在 Agent 循环里,速度能兑换成质量。一个每步只推进 20% 误差、但能在同样时间内跑 50 轮的扩散模型,按 1−(1−r)^n 计算,最终成绩(99.99%)能反超每轮推进 65%、却只能跑 5 轮的旗舰模型。这就是"聪明不如勤快"的数学版——Geoff Huntley 所谓的 "Ralph Wiggum 循环":一个不太聪明但不知疲倦、每次只修一个小问题且不会累的 Agent,能在旗舰模型还在沉思的时间里,靠蛮力失败到成功。

但这里有个清醒的约束:速度只有在能廉价验证时才转化为质量。一旦循环快了十倍,"验证"就成了新的瓶颈。谁的验证便宜、谁就拥有循环。所以未来 Agent 工程的重点会从"堆更聪明的模型"转向"堆更快的静态检查(lint/类型检查/格式化)、依赖影响定向测试、语义 diff、不变量检查"。

对所有关注 AI 的人:一次范式分叉正在发生。 未来可能不再是"一个大模型打天下",而是多架构协奏——高延迟高智商的 "深度推理器"(AR 旗舰)负责难任务,低延迟高吞吐的 "快速扩散器" 负责探索与迭代。理解扩散文本模型,就是在理解这条分叉的另一条车道。

延伸学习路径

  1. Diffusion Language Models Explained — Mercury 1000 tok/s(danilchenko.dev 技术长文)—— 本文核心机理来源,含前向/反向过程的清晰拆解与吞吐量对照表。
  2. LLaDA 论文(arXiv)—— Large Language Diffusion Models,把扩散确立为 AR 文本生成可行替代品的奠基性论文,想读一手理论必看。
  3. Mercury Technical Report(arXiv:2506.17298 等)—— "Mercury: Ultra-Fast Language Models Based on Diffusion",Inception 官方技术报告。
  4. DDIM 原始论文(Song, Meng, Ermon, 2020)—— Mercury CEO Stefano Ermon 是合著者,这是驱动 Stable Diffusion/Midjourney 的去噪方法,读懂它就读懂了扩散的数学祖源。
  5. "Diffusion might out-iterate them"(ajfisher.me)—— 把扩散速度优势与 Agent 循环效率挂钩的最佳延伸读,含 1−(1−r)^n 的迭代推演与 Zeno 悖论分析。

一句话总结

Mercury 2 证明了一件事:LLM "一字一字从左写到右"从来不是物理定律,只是个工程选择——而换成扩散后,用同一块 GPU 快十倍、还能边写边改、成本砍到地板价。

参考来源

  1. Mercury 2: The Language Model That Edits Instead of Predicts — 本次深度解读的核心视频
  2. Diffusion Language Models Explained — How Mercury Generates 1,000 Tokens Per Second — 机理拆解与吞吐对照
  3. Mercury 2: The LLM That Doesn't Generate Like an LLM — 基准数据、应用场景与团队背景
  4. Mercury 2 won't outthink frontier models but diffusion might out-iterate them — Agent 循环效率与迭代数学推演
  5. Artificial Analysis — Mercury 2 独立吞吐与价格测量 — 第三方速度排名佐证

    本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

完成摘要(What was done)

下一步计划(What's next)

  1. 如需落地验证:可申请代理或更换出口 IP 后重试 youtube_transcript.py Dpsv-1CXotA,用真实字幕复核视频原话与"延伸分析"的标注边界。
  2. 后续轮次:本轮 Round 1 = tech 已完成;Round 2 应聚焦 programming 分类,建议方向可考虑 WASM/并发/编译器等尚未覆盖的深度话题。
  3. 若想做成内容产品:本文 Mermaid 图与 6 大拆解可直接复用于公众号长文或知识卡片短视频脚本。

注意事项(If applicable)

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入