导语：本周海外AI社区吵得最凶的，不是哪个新模型发布，而是一个老问题——**量化模型到底能不能用**。一位波兰开发者自掏约3000美元GPU租金，把阿里Qwen3.8 27B的各个量化版本挨个跑了一遍基准，结论把HN（202分、99楼争吵）和r/LocalLLaMA同时点燃：4-bit几乎无损，1-bit直接报废。同周，Inception Labs发布Mercury 2.5，把“扩散模型能不能取代自回归”这条路线之争又翻上了首页。这两场仗加上“推理档位该不该开最高”的账单之争，直接决定了你下一步买什么卡、下什么模型。国内玩本地部署的人不少，但这三份一手实测和争论细节，中文圈几乎没人完整搬过来。 --- ## 一、3000美元烧出来的实锤：量化断崖到底在哪 先说背景。Quesma公司开发者Piotr Migdał在博客发布了一份实测（《Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses》），9月8日被顶上Hacker News首页。他干了件社区里一直缺的事：**不测KL散度、不测token预测差异，直接测任务成绩**。 为什么这事重要？因为Reddit上常年有个热门抱怨：“为什么我的本地大模型感觉比参数量该有的水平蠢？”（原话大意：why your local LLM feels dumber than it is）。怀疑派认为所有量化版本哪怕8-bit都在掉点；挺量派说那是心理作用。吵了好几年，谁也拿不出任务级证据。 这次实测的硬数据（用llama.cpp跑Unsloth的GGUF量化版，基准为GPQA Diamond、IFBench、Terminal-Bench 2.1）： | 量化档 | 体积 | 实测结果 | |---|---|---| | BF16 全量 | 55 GB | 基准线，复现官方成绩 | | Q8_0 | 29 GB | 与全量基本无异 | | **Q4_K_M** | **17 GB** | **三大基准追平BF16** | | UD-Q2_K_XL | 10.7 GB | 小幅下降，仍有一定战力 | | UD-IQ1_S | 6.2 GB | GPQA Diamond接近随机乱猜 | 最反直觉的一条：**1-bit模型推理越久，成绩越差**。开最高推理档（xhigh）反而比低档（low）分数更低——因为模型会一路“思考”到token预算耗尽，然后交白卷（空答案）。另外他在上一代Qwen3.6 27B上的旧实验还发现：知识类内容大概到16GB（更高量化档）才守得住。 各方的观点是这样的： - **实测派（作者本人）**：量化该拥抱不该恐惧，结论是“在你显存装得下的前提下，选能塞进显卡的最大模型+合适量化档”。 - **全量怀疑派（Reddit老传统）**：KL散度看不出来不等于任务没问题，一次关键token的偏差可能就是一次逻辑错误。这次1-bit“脑损伤”的实测算是给他们递了刀——r/LocalLLaMA上早有用户用类似词形容1-bit版。 - **中间派（HN评论区主流）**：看任务。指令跟随（IFBench）连2-bit都几乎无感；复杂编程任务（Terminal-Bench 2.1）2-bit明显掉点——但作者补了句大实话：掉完仍相当于Claude Opus 4.7或Gemini 3.1 Pro的水平，“离前沿很远，但离没用更远”。 ## 二、宣传与实测的落差：1-bit那个“72%”是怎么回事 这场争论里最有戏剧性的是Unsloth官方宣传与实测的对撞。Unsloth曾宣称其1-bit版本UD-IQ1_S只有6.2GB（缩小89%），仍保留约72%的top-1准确率。听起来很美好？ 作者的回应很直接：**剩下的28%恰恰是要命的28%**——在GPQA Diamond这种研究生级科学题上，72%的保留率意味着直接掉到乱猜水平。而且Unsloth在2026年8月19日替换过v2版量化文件，导致精确复现都有困难（他1-bit用的是v3版）。 对中国用户这一段尤其值得细读：Qwen是国产模型，国内玩本地部署的4090/3090存量极大。这份实测等于给出了一张**人民币买卡对照表**： - 24GB卡（4090）：Q4_K_M（17GB）+ 约留64k上下文，是公认的甜点位； - 12-16GB卡：UD-Q2_K_XL（10.7GB），日常任务够用； - 8GB以下：别硬上27B，直接换小模型。 还有一个容易忽略的坑：作者全程用F16的KV缓存，每32k token约占2.3GB——**量化省的是权重，KV缓存是另一笔账**，规划显存时必须一起算。这也是HN评论区反复提醒新手的点。 ## 三、Mercury 2.5上新：文本扩散路线之争重燃战火 第二场争论的火苗是Inception Labs在9月8日发布的Mercury 2.5（官方博客：inceptionlabs.ai/blog/introducing-mercury-2-5），当天冲上HN首页。讨论还在早期（114分、14楼），但这个公司值得重新认识：他们做的Mercury系列是**扩散式语言模型（diffusion LLM）**——不走自回归“一个字一个字往外蹦”的路子，而是整段同时去噪生成。初代Mercury发布时曾以极高的生成速度为卖点（据此前公开报道，在H100上可达每秒上千token量级；2.5的具体跑分以官方博客为准，本文不代读）。 社区在这条路线上吵了很多年，各方立场基本稳定： - **挺扩散派**：并行生成天然高吞吐、低延迟，代码补全、草稿生成这类“要快不要深”的场景是完美切入口；推理成本结构也不同。 - **反对派**：质量始终是心结——社区长期观感是扩散LM的基准成绩落后同代自回归模型一截；而且整个工具链（KV缓存优化、投机解码、各类推理框架）都是围着自回归建的，扩散模型享受不到。 - **中立派**：这不是取代之战，是生态位之战。自回归守深度推理，扩散抢速度敏感型场景，最后大概率共存。 对国内用户的启示：文本扩散是少数国内公司还没大规模下场、海外也刚跑出商业产品的方向。盯住Mercury 2.5的API定价和基准更新，比盯着又一个聊天模型发布有价值得多。 ## 四、顺手吵翻的第三件事：xhigh是不是“过度思考税” 同一份实测还引爆了一个次生话题：**推理档位（reasoning effort）默认开最高，到底是不是浪费**。 数据说话：GPQA Diamond上成绩最好的确是xhigh档，但代价是平均约8k个推理token；而简单任务上高档位毫无收益。更极端的是1-bit模型案例——高档位反而带来空答案。HN评论区由此延伸出一场熟悉的争吵：API按token计费的时代，**推理档位就是账单旋钮**，默认最大档等于给每个简单问题都派博士生去想三天。 两派观点：一派主张“按任务动态调档”，难题开满、日常调低，省钱省时间；另一派认为普通人没有判断任务难度的能力，默认高档是防呆设计。这场争论在国内语境下同样成立——各家模型的“深度思考”开关，本质上就是同一个旋钮。 ## 决策图：27B模型量化档怎么选 ```mermaid flowchart TD A["想本地跑27B模型"] --> B{"显存多大"} B -->|"24G如4090"| C["Q4_K_M 约17G"] B -->|"12到16G"| D["Q2档 约10.7G"] B -->|"8G以下"| E["换更小模型"] C --> F["实测追平全量"] C --> G["留约2.3G给KV缓存
每32k上下文"] D --> H["日常任务够用
复杂编程会掉点"] E --> I["1-bit已实测崩盘
纯浪费时"] ``` 再补一张推理档位的选择逻辑： ```mermaid flowchart TD A["设置推理档位"] --> B{"任务难度"} B -->|"硬骨头"| C["开最高档
约8k推理token"] B -->|"日常活"| D["调到中档
省token省时间"] C --> E["小模型慎开最高
可能烧完预算交白卷"] ``` ## 信息差总结 | 你以为的 | 实际情况 | |---|---| | 量化都掉点，本地模型天生笨 | Q4_K_M实测三大基准追平BF16，“感觉笨”多是档位没选对 | | 体积越小越划算，1-bit能塞进小卡 | 1-bit直接掉到乱猜水平，6.2GB买不来能用的27B | | 推理越久答案越好 | xhigh档约8k推理token，简单任务纯烧钱；崩坏模型越想越错 | | 扩散模型只能画图 | Mercury 2.5代表文本扩散路线，速度敏感场景已在商用 | | KV缓存跟着权重一起缩 | 该实测全程F16 KV缓存，每32k token约2.3GB，要单独留 | ## 行动指南 1. **今晚就能做**：在HuggingFace搜"unsloth Qwen3.8 27B GGUF"，按你的显存下对应档（24G卡选Q4_K_M，12-16G选Q2档），用llama.cpp加载： ```bash llama-server -m Qwen3.8-27B-Q4_K_M.gguf -c 65536 ``` 2. **别信单一榜单**：拿你自己的高频任务（比如写周报、改脚本），同一段prompt分别在量化档和你常用的API模型上跑一周，AB对照——这是那份3000美元实测教给普通人最值钱的方法论。 3. **检查你的推理档位**：打开你常用模型的深度思考设置，把日常任务从最高档降一档，月底看账单变化。 4. **盯住文本扩散**：订阅Inception Labs博客，等Mercury 2.5的API开放后第一时间测速度和价格，这是少有的国内还没跟进的路线。 ## 参考来源 1. Quesma实测原文：https://quesma.com/blog/qwen38-27b-quantizations-benchmarked/ 2. HN社区讨论（99楼）：https://news.ycombinator.com/item?id=49611128 3. Mercury 2.5官方博客：https://www.inceptionlabs.ai/blog/introducing-mercury-2-5 4. HN社区讨论：https://news.ycombinator.com/item?id=49616354 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。