过去七年,你用过的每一个大模型——GPT、Claude、Gemini、Llama——本质都是同一台机器:打字机。从左到右,一个 token 接一个 token,每敲下一个字母就立刻"锁死",不能回头。一旦第三个词选错了,后面整段话只能硬着头皮往下编,错误像滚雪球一样累积,这正是 LLM "一本正经胡说八道" 的结构性根源。
2026 年初,Inception Labs 发布的 Mercury 2 砸碎了这台打字机。它把图像领域早已称王的扩散模型(Diffusion)搬进了文本世界:不从左到右逐字写,而是先铺一整页"噪声草稿",然后像编辑改稿一样,几个来回就把整段话同时打磨清晰。结果是同一个 NVIDIA Blackwell GPU 上,1009 tokens/秒——比 Claude Haiku 4.5、GPT-5 mini 快了十倍,端到端延迟从 23.4 秒压到 1.7 秒。
这条《Mercury 2: The Language Model That Edits Instead of Predicts》之所以值得做深度解读,不只是因为它跑得快。它提出一个被忽视已久的根本问题:逐 token 预测从来不是物理定律,只是一个工程选择。 而一旦换掉这个选择,速度、成本、幻觉、Agent 循环效率——一连串连锁反应都会被重写。
| 项目 | 内容 |
|---|---|
| 视频标题 | Mercury 2: The Language Model That Edits Instead of Predicts |
| 频道 | Attention Span(开发者向 AI 解读频道) |
| 发布时间 | 2026 年 2 月(Mercury 2 发布同期) |
| 核心主题 | 首个基于扩散(Diffusion)而非自回归(Autoregressive)的商用推理 LLM |
| 关键数字 | 1009 tok/s、128K 上下文、AIME 2025 达 91.1、$0.25/$0.75 每百万 token |
| 出品方 | Inception Labs(斯坦福 Stefano Ermon 团队,DDIM 作者) |
视频开篇就戳破一个误区:大家以为各家的模型各不相同,其实底层生成逻辑是同一套。自回归(Autoregressive, AR)生成是串行的——要生成第 50 个 token,必须先有第 49 个;要第 49,必须有第 48。每一个 token 都要触发一次穿过数十亿参数的完整前向传播。
这就形成了一道硬天花板。你可以堆更好的硬件、做批处理、上投机解码(speculative decoding)、做 KV cache,但逃不掉"一次只能吐一个字"这个核心约束。在 H100 上,最快的 AR 模型也就 150–200 tokens/秒封顶;Claude 4.5 Haiku 推理模式约 89 tok/s,GPT-5 mini 约 71 tok/s。Groq、Cerebras 甚至专门造新芯片去撞这道墙,代价是绝大多数团队拿不到的定制硅。
我的延伸: 很多人把"模型慢"归咎于参数多、算力不够,但真正的元凶是内存带宽(memory bandwidth)。AR 推理是"带宽受限"的——每生成一个 token,都要把全部权重从显存搬到计算单元,但做的运算相对很少,于是昂贵的 tensor core 大量时间在空转。Mercury 的聪明之处在于:它不是靠加硬件提速,而是从模型架构层面把瓶颈从"带宽"换成了"计算",让 GPU 真正忙起来。
视频用了一个非常精准的类比:AR 是打字机,Mercury 是编辑。这背后是扩散机制对文本的移植。如果你用过 Stable Diffusion 生成图片,核心思路其实一样:
关键区别就在这里:AR 是 token1 → token2 → token3 串行;Mercury 是先同时铺出所有 token 的粗糙草稿,再用 8–16 个来回逐步精修。早期步骤做"粗调"——把主题、句式、关键词大致定下来;后期步骤做"微调"——精确选词、标点、语法一致性。
我的延伸: Andrej Karpathy 有一句很到位的总结——AR 模型是从左到右、一次一个;扩散模型根本不区分左右,它是"从模糊到清晰,且处处同时"。这更接近人类真正的思考方式:你不会一个字一个字地想,你是先抓住整个想法,起草、修改、推翻、再定稿。
这是全文最反直觉、也最关键的一环。一段 500 token 的回答,AR 需要 500 次串行前向传播;Mercury 无论输出多长,总共只要 8–16 步精修。
原因在于算术强度(arithmetic intensity)——即计算量与内存访问量的比值。AR 推理每次都要搬全量权重、算得少,GPU 干等内存;扩散的每一步在全序列上并行做大量矩阵乘法,正好踩中现代 GPU 的设计甜区——成千上万核心同时跑海量并行矩阵运算。于是同一块 GPU,tensor core 从空转变成满载。
数字摆得很清楚:Mercury 2 在 Blackwell 上跑出 1009 tok/s,是 Haiku、GPT-5 mini 的十倍以上;端到端延迟 1.7 秒 对 23.4 秒。注意——这份速度红利不来自基础设施优化,而来自模型本身。这才是它真正震撼的地方:你不是靠更贵的硬件变快,而是靠换一种"生成姿势"变快。
视频和后续技术解读都强调了一个 AR 模型结构性缺失的能力:纠错。
AR 有"承诺问题":第 30 个 token 一旦生成,就被永久锁死。如果它错了,后面每个 token 都得围着这个错误编下去,错误级联(cascade)——这正是幻觉的温床。扩散没有这个病。因为每一步都在重新精修整段文本,第 30 个位置的失误可以在下一个精修回合里被全局修正。模型始终能看到自己的完整草稿,包括自己刚写的"半成品",从而在全球范围内修复矛盾。
Inception 称这种机制能显著降低幻觉。需要客观说明的是:他们尚未公布详细幻觉基准,所以这更应被视为"符合机理的合理推论"而非"已被证实的结论"。但机理是站得住的——迭代式全局精修,确实应该比单次从左到右的生成更能捕捉自相矛盾。
我的判断: 这是扩散架构最被低估的红利。十倍速度足够抓眼球,但"可纠错"才是可能真正改变 Agent 可靠性的东西——后面会展开。
除了快和准,扩散还解锁了 AR 在结构上不可能实现的能力:
一个有分量的解读必须说清短板,否则就是带货。Mercury 2 不是银弹:
flowchart LR
subgraph AR["自回归 AR(打字机)"]
A1["输入"] --> A2["token 1<br/>锁死"]
A2 --> A3["token 2<br/>锁死"]
A3 --> A4["token 3<br/>锁死"]
A4 --> A5["...串行 N 步<br/>错误级联"]
end
subgraph DIFF["扩散 Diffusion(编辑器)"]
D1["纯噪声草稿<br/>全部 token"] --> D2["第1步精修<br/>粗调主题句式"]
D2 --> D3["第2步精修<br/>局部纠错"]
D3 --> D4["第8-16步<br/>微调选词"]
D4 --> D5["一次输出<br/>可全局纠错"]
end
AR -. "换生成姿势" .-> DIFF
DIFF --> R1["算术强度↑<br/>GPU 满载"]
DIFF --> R2["1009 tok/s<br/>快十倍"]
DIFF --> R3["1.7s 延迟<br/>Agent 高速循环"]
DIFF --> R4["内置纠错<br/>抗幻觉/可填充"]
style AR fill:#fde2e2,stroke:#c0392b
style DIFF fill:#e2f0d9,stroke:#27ae60
style R2 fill:#fff3cd,stroke:#f39c12
对应用开发者: latency 敏感场景重新选型。 如果你做实时语音 Agent、代码补全、浏览器自动化这类对延迟零容忍的产品,Mercury 2 的 1.7 秒端到端延迟完全是另一个量级。它还是 OpenAI API 兼容——换 base URL、模型名、API key 即可接入,128K 上下文、原生工具调用、结构化输出、RAG 全有,定价 $0.25/$0.75 每百万 token,是高吞吐 Agent 工作负载里最具性价比的推理模型之一。Skyvern(浏览器自动化)已在生产中用它并报告"至少比 GPT-5.2 快两倍",Zed 编辑器集成后称"建议快得像你自己的思考"。
对 Agent 构建者:从"更聪明"转向"更快迭代"。 这是我认为视频之外的延伸里最值钱的洞察。ajfisher 的推演点透了一层:在 Agent 循环里,速度能兑换成质量。一个每步只推进 20% 误差、但能在同样时间内跑 50 轮的扩散模型,按 1−(1−r)^n 计算,最终成绩(99.99%)能反超每轮推进 65%、却只能跑 5 轮的旗舰模型。这就是"聪明不如勤快"的数学版——Geoff Huntley 所谓的 "Ralph Wiggum 循环":一个不太聪明但不知疲倦、每次只修一个小问题且不会累的 Agent,能在旗舰模型还在沉思的时间里,靠蛮力失败到成功。
但这里有个清醒的约束:速度只有在能廉价验证时才转化为质量。一旦循环快了十倍,"验证"就成了新的瓶颈。谁的验证便宜、谁就拥有循环。所以未来 Agent 工程的重点会从"堆更聪明的模型"转向"堆更快的静态检查(lint/类型检查/格式化)、依赖影响定向测试、语义 diff、不变量检查"。
对所有关注 AI 的人:一次范式分叉正在发生。 未来可能不再是"一个大模型打天下",而是多架构协奏——高延迟高智商的 "深度推理器"(AR 旗舰)负责难任务,低延迟高吞吐的 "快速扩散器" 负责探索与迭代。理解扩散文本模型,就是在理解这条分叉的另一条车道。
1−(1−r)^n 的迭代推演与 Zeno 悖论分析。Mercury 2 证明了一件事:LLM "一字一字从左写到右"从来不是物理定律,只是个工程选择——而换成扩散后,用同一块 GPU 快十倍、还能边写边改、成本砍到地板价。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
youtube_transcript.py Dpsv-1CXotA,用真实字幕复核视频原话与"延伸分析"的标注边界。programming 分类,建议方向可考虑 WASM/并发/编译器等尚未覆盖的深度话题。[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
