导语：本周海外AI社区吵得最凶的，不是哪个新模型发布，而是一个老问题——量化模型到底能不能用。一位波兰开发者自掏约3000美元GPU租金，把阿里Qwen3.8 27B的各个量化版本挨个跑了一遍基准，结论把HN（202分、99楼争吵）和r/LocalLLaMA同时点燃：4-bit几乎无损，1-bit直接报废。同周，Inception Labs发布Mercury 2.5，把“扩散模型能不能取代自回归”这条路线之争又翻上了首页。这两场仗加上“推理档位该不该开最高”的账单之争，直接决定了你下一步买什么卡、下什么模型。国内玩本地部署的人不少，但这三份一手实测和争论细节，中文圈几乎没人完整搬过来。
先说背景。Quesma公司开发者Piotr Migdał在博客发布了一份实测（《Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses》），9月8日被顶上Hacker News首页。他干了件社区里一直缺的事：不测KL散度、不测token预测差异，直接测任务成绩。
为什么这事重要？因为Reddit上常年有个热门抱怨：“为什么我的本地大模型感觉比参数量该有的水平蠢？”（原话大意：why your local LLM feels dumber than it is）。怀疑派认为所有量化版本哪怕8-bit都在掉点；挺量派说那是心理作用。吵了好几年，谁也拿不出任务级证据。
这次实测的硬数据（用llama.cpp跑Unsloth的GGUF量化版，基准为GPQA Diamond、IFBench、Terminal-Bench 2.1）：
| 量化档 | 体积 | 实测结果 |
|---|---|---|
| BF16 全量 | 55 GB | 基准线，复现官方成绩 |
| Q8_0 | 29 GB | 与全量基本无异 |
| Q4_K_M | 17 GB | 三大基准追平BF16 |
| UD-Q2_K_XL | 10.7 GB | 小幅下降，仍有一定战力 |
| UD-IQ1_S | 6.2 GB | GPQA Diamond接近随机乱猜 |
最反直觉的一条：1-bit模型推理越久，成绩越差。开最高推理档（xhigh）反而比低档（low）分数更低——因为模型会一路“思考”到token预算耗尽，然后交白卷（空答案）。另外他在上一代Qwen3.6 27B上的旧实验还发现：知识类内容大概到16GB（更高量化档）才守得住。
各方的观点是这样的：
这场争论里最有戏剧性的是Unsloth官方宣传与实测的对撞。Unsloth曾宣称其1-bit版本UD-IQ1_S只有6.2GB（缩小89%），仍保留约72%的top-1准确率。听起来很美好？
作者的回应很直接：剩下的28%恰恰是要命的28%——在GPQA Diamond这种研究生级科学题上，72%的保留率意味着直接掉到乱猜水平。而且Unsloth在2026年8月19日替换过v2版量化文件，导致精确复现都有困难（他1-bit用的是v3版）。
对中国用户这一段尤其值得细读：Qwen是国产模型，国内玩本地部署的4090/3090存量极大。这份实测等于给出了一张人民币买卡对照表：
还有一个容易忽略的坑：作者全程用F16的KV缓存，每32k token约占2.3GB——量化省的是权重，KV缓存是另一笔账，规划显存时必须一起算。这也是HN评论区反复提醒新手的点。
第二场争论的火苗是Inception Labs在9月8日发布的Mercury 2.5（官方博客：inceptionlabs.ai/blog/introducing-mercury-2-5），当天冲上HN首页。讨论还在早期（114分、14楼），但这个公司值得重新认识：他们做的Mercury系列是扩散式语言模型（diffusion LLM）——不走自回归“一个字一个字往外蹦”的路子，而是整段同时去噪生成。初代Mercury发布时曾以极高的生成速度为卖点（据此前公开报道，在H100上可达每秒上千token量级；2.5的具体跑分以官方博客为准，本文不代读）。
社区在这条路线上吵了很多年，各方立场基本稳定：
对国内用户的启示：文本扩散是少数国内公司还没大规模下场、海外也刚跑出商业产品的方向。盯住Mercury 2.5的API定价和基准更新，比盯着又一个聊天模型发布有价值得多。
同一份实测还引爆了一个次生话题：推理档位（reasoning effort）默认开最高，到底是不是浪费。
数据说话：GPQA Diamond上成绩最好的确是xhigh档，但代价是平均约8k个推理token；而简单任务上高档位毫无收益。更极端的是1-bit模型案例——高档位反而带来空答案。HN评论区由此延伸出一场熟悉的争吵：API按token计费的时代，推理档位就是账单旋钮，默认最大档等于给每个简单问题都派博士生去想三天。
两派观点：一派主张“按任务动态调档”，难题开满、日常调低，省钱省时间；另一派认为普通人没有判断任务难度的能力，默认高档是防呆设计。这场争论在国内语境下同样成立——各家模型的“深度思考”开关，本质上就是同一个旋钮。
flowchart TD
A["想本地跑27B模型"] --> B{"显存多大"}
B -->|"24G如4090"| C["Q4_K_M 约17G"]
B -->|"12到16G"| D["Q2档 约10.7G"]
B -->|"8G以下"| E["换更小模型"]
C --> F["实测追平全量"]
C --> G["留约2.3G给KV缓存<br/>每32k上下文"]
D --> H["日常任务够用<br/>复杂编程会掉点"]
E --> I["1-bit已实测崩盘<br/>纯浪费时"]
再补一张推理档位的选择逻辑：
flowchart TD
A["设置推理档位"] --> B{"任务难度"}
B -->|"硬骨头"| C["开最高档<br/>约8k推理token"]
B -->|"日常活"| D["调到中档<br/>省token省时间"]
C --> E["小模型慎开最高<br/>可能烧完预算交白卷"]
| 你以为的 | 实际情况 |
|---|---|
| 量化都掉点，本地模型天生笨 | Q4_K_M实测三大基准追平BF16，“感觉笨”多是档位没选对 |
| 体积越小越划算，1-bit能塞进小卡 | 1-bit直接掉到乱猜水平，6.2GB买不来能用的27B |
| 推理越久答案越好 | xhigh档约8k推理token，简单任务纯烧钱；崩坏模型越想越错 |
| 扩散模型只能画图 | Mercury 2.5代表文本扩散路线，速度敏感场景已在商用 |
| KV缓存跟着权重一起缩 | 该实测全程F16 KV缓存，每32k token约2.3GB，要单独留 |
bash
llama-server -m Qwen3.8-27B-Q4_K_M.gguf -c 65536本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。