首页 › trending › 扩散模型四倍速却六倍错:海外本周吵翻了

扩散模型四倍速却六倍错:海外本周吵翻了

如果你这周只刷了国内的技术号,大概率会错过海外三个吵得最凶的 AI 技术分歧。第一,Google 偷偷放出 DiffusionGemma,把"扩散"这个原本只属于画图的词搬进了语言模型,结果被 Reddit 拍出"快了四倍、错多六倍"的对比图;第二,r/LocalLLaMA 一条"别再用 Ollama 了"的帖子本周冲到 1536 分、417 条评论,是全周评论量最高的帖子,本地推理引擎阵营直接撕裂;第三,"把你的 AI 编码会话捐给开源数据集"运动拿下了 1371 分,背后是一场关于数据劳动和隐私的拉锯。这三件事的共同点:它们都是国内还几乎没人讨论、但会直接决定你下半年技术选型的岔路口。今天就把这三场暗战的各方观点、真实数据和信息差一次性拆给你看。

一、DiffusionGemma:扩散语言模型的速度-质量之争

先把背景讲清楚。6 月 10 日,Google 发布 DiffusionGemma,这是第一个你能真正下载到本地消费级显卡上跑的扩散语言模型(diffusion language model)。规格很猛:26B 参数的 MoE 架构(每次前向只激活 4B)、Apache 2.0 协议、256K 上下文、支持图像和 60 秒视频、覆盖 140+ 语言。机制上它彻底抛弃了"逐 token 预测下一个词"的自回归老路,改成一次性生成一个 256-token 的"画布",然后用最多 48 步去噪,每个 token 都能看到前后所有 token(双向注意力)。

结果是速度碾压:H100 上 1000+ tokens/s,RTX 5090 上 700+,4-bit 量化后只要 18GB 显存。r/LocalLLaMA 上有人激动地发"Qwen Who? DiffusionGemma running at 1,500 tk/s"(1058 分),评论区一片"这速度离谱"。

但硬币的另一面立刻被另一条帖子撕开:"Diffusion Gemma is 4x faster, but makes 6x more mistakes!"(1102 分,175 评论)。这不是情绪化吐槽,是有实测支撑的。Google 自己在文档里就写了"For applications that demand maximum quality, we recommend deploying standard Gemma 4"(要追求质量,还是用标准版 Gemma 4)。Ursloth 的基准对比更直观:

基准 DiffusionGemma Gemma 4 (26B-A4B)
MMLU Pro 77.6% 82.6%
Codeforces ELO 1429 1718
LiveCodeBench v6 69.1% 77.1%
GPQA Diamond 73.2% 82.3%
AIME 2026 69.1% 88.3%
MMMU Pro(视觉) 54.3% 73.8%

代码、数学、复杂推理全面落后,有的项差距接近 20 分。社区由此分成三派:

给你的信息差:国内绝大多数开发者对"diffusion"的认知还停留在画图(DALL·E、Stable Diffusion)。但海外已经把它做成了一个可以商用、有真权重下载的语言模型范式。别急着全量替换主力模型,但值得现在就下一份 GGUF 在本地跑通,尤其是做 OCR、表单解析、Agent 低延迟交互的团队——这是自回归模型给不了你的体验。注意盯两个信号:llama.cpp PR #24423 合并、Ursloth Studio 的开箱即用支持。

二、"别再用 Ollama 了":本地推理引擎阵营撕裂

这是本周评论量最高的一条帖。r/LocalLLaMA 上"Stop using Ollama"(1536 分,417 评论)一石激起千层浪,把一个长期被回避的问题摆上了台面:Ollama 适合个人把玩,但它根本不是为生产环境设计的。

核心论据很硬:在多用户并发场景下,vLLM 的吞吐是 Ollama 的 16-20 倍,靠的是 PagedAttention 和 continuous batching(连续批处理)这两项技术。Ollama 本质是 llama.cpp 上面套了一层 REST 封装,默认单流处理,没有连续批处理,还藏着默认 2048 上下文窗口这种坑(这个我们之前专门讲过)。社区同样裂成三派:

flowchart TD
    A[本地推理需求] --> B{使用场景?}
    B -->|个人原型/随便玩| C[Ollama<br/>一行命令,跨平台]
    B -->|想要图形界面浏览模型| D[LM Studio<br/>Mac/Windows GUI]
    B -->|对外提供 API/多用户| E[vLLM<br/>吞吐 16-20x,需 NVIDIA/AMD]
    B -->|Apple Silicon 本机| F[MLX<br/>针对 M 芯片优化]
    B -->|嵌入式/冷门硬件| G[llama.cpp<br/>裸用,最灵活]
    E --> H[PagedAttention +<br/>continuous batching]
    C -.弱项.-> I[单流,无连续批处理<br/>默认上下文 2048]

给你的信息差:国内很多开发者把 Ollama 当成"本地大模型"的唯一答案,根本没意识到它在并发吞吐上和 vLLM 差了一个数量级。这不是又一个"改改 Ollama 默认配置"的技巧贴,而是该不该把 Ollama 放进技术栈的根本分歧。判断标准很简单:你是自己一个人用,还是要给同事/客户/线上提供服务? 前者 Ollama 真香,后者请直接上 vLLM,别用 Ollama 顶缸。

三、"把你的编码会话捐出去":开源训练数据的伦理拉锯

第三场暗战藏在 r/LocalLLaMA 一条 1371 分、209 评论的帖子里:"Donate your coding sessions to an open CC-BY-4.0 dataset"。发起人在号召大家把完整的 AI 编码会话(你 + Claude/Cursor/Copilot 的完整对话轨迹,包括你的 prompt、模型回复、最终代码)捐给一个 CC-BY-4.0 协议的开源数据集,用来训练开源模型。

为什么这事现在爆?因为高质量的真实编码数据已经成了新的稀缺资源。合成数据(让模型自己生成训练数据)边际收益递减,业界普遍认为下一波开源模型要再上一个台阶,缺的就是"人类和 AI 协作编码的真实过程数据"。这条帖子引发了三派拉锯:

给你的信息差:国内开发者几乎从没把"我的 AI 编码会话"当成一种有价值的资产。但它正是 2026 年最抢手的训练原料之一。这件事的启示不是"赶紧去捐",而是双向的:一方面,如果你在做开源模型/数据集,真实编码会话是你可以低成本构建的差异化壁垒;另一方面,如果你在公司大量用 AI 写代码,要意识到这些会话可能被工具链上传、缓存、甚至变成别人的训练数据——这正是企业数据合规的新盲区。顺手提一句,本周还有个相关信号:有人发了 Inflect-Nano,一个仅 4.63M 参数、能在 ARM 上实时推理、内存占用低于 100MB 的微型模型(r/LocalLLaMA,612 分),说明"小而专"的路线和"开源数据养开源模型"的路线正在合流。

信息差总结:你知道的 vs 海外在吵的

主题 大多数人以为 海外社区本周的共识/分歧
扩散语言模型 扩散=画图,和文本无关 已有可商用的文本扩散模型,速度 4x 但质量打折,适合 OCR/补全/Agent 低延迟,不适合推理
本地推理引擎 Ollama=本地大模型标准答案 生产环境 vLLM 吞吐是 Ollama 的 16-20x,Ollama 只适合原型,社区在吵"要不要彻底弃用"
AI 编码会话 只是我的工具使用记录 它是 2026 年最稀缺的训练数据,正被号召捐给 CC-BY-4.0 数据集,隐私和免费劳动争议巨大

行动指南:你这周可以做什么

  1. 跑通一份扩散模型:去 Ursloth 的 unsloth/diffusiongemma-26B-A4B-it-GGUF 下 Q4_K_M 版本,编译带 PR #24423 的 llama.cpp,在本地跑一次。重点体验代码内联补全和 OCR,感受"双向注意力"和自回归的区别。没 4090/5090 的,先收藏等 Unsloth Studio 开箱支持。
  2. 给本地引擎做个选型审计:如果你只用 Ollama,问自己一句"我这是自用还是要对外服务"。要服务的话,本周就在一台带 NVIDIA 卡的机器上把 vLLM 跑起来,对比一下并发吞吐,你会立刻理解 16-20x 的差距。
  3. 盘点你的 AI 编码会话资产:检查你用的 AI 编程工具是否默认上传/缓存会话;如果你在创业做开源模型,认真考虑把"真实编码轨迹"作为数据壁垒来系统化收集,但务必先做 secret 清洗。

参考来源


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入