# 跑分注水？海外吵翻的AI榜单黑幕 **导语**：你还在照着 LMArena、SWE-bench 的榜单选模型？海外开发者圈已经为“榜单还能不能信”吵了一年多，从 Meta 双版本上榜、到 Cohere 发论文指控排行榜偏袒大厂、再到“刷题污染”实锤，这场争论每逢大厂发新模型就回锅一次，堪称 AI 圈头号月经贴。但中文圈的转述大多只剩一句“榜单有猫腻”，细节和方法论几乎无人讲透。这篇文章把三个核心争论点、各方立场、以及海外工程师大牛市面上的替代做法一次讲清——看完你会知道：哪些分数还能参考，哪些纯属表演，以及怎么花半天时间搭一套只属于你自己的评测。 ## 一、导火索：Llama 4 的“双面人”事件 事情要从 2025 年 4 月 5 日说起。Meta 发布 Llama 4 系列当天，Maverick 版本在 LMArena（前身 LMSYS Chatbot Arena，全球最大的模型匿名对战平台）上一度冲到总榜第二，仅次于 Gemini 2.5 Pro。社区一片哗然：开源模型吊打闭源，这是历史性时刻。 然后有人去 Hugging Face 下载了模型实际用了一下——感觉完全不对。细究之下，上榜的其实是 `Llama-4-Maverick-03-26-Experimental`，一个专门针对“人类偏好”做了聊天风格优化的实验版本，而 Meta 公开发布的权重并不是这个版本。据 TechCrunch 等媒体当时报道，Meta 发言人承认所有榜单上名列前茅的 Llama 4 参赛条目都是实验性的 chat-tuned 版本。 舆论直接炸锅。你花钱租 GPU、改代码适配、迁移生产环境，结果发现榜单上那位选手和你拿到手的根本不是同一个人——这在传统软件评测里等于造假，但在模型圈，规则灰色地带让 Meta 的操作“不违规，但破防了一整个社区”。r/LocalLLaMA 当时的高赞评论大意是：匿名对战的初衷是盲测真实能力，现在变成了大厂的营销靶场。 ## 二、论文补刀：The Leaderboard Illusion 如果说 Llama 4 事件是个案，那真正把它上升为“系统性问题”的，是 Cohere Labs 于 2025 年 4 月 30 日挂出的论文《The Leaderboard Illusion》（arXiv:2504.20879）。这篇论文用 LMArena 的公开数据做了三项指控，每一项都戳在大厂肺管子上： **第一，私测变体。** 论文统计，在 Llama 4 发布前的半年里，头部实验室在 LMArena 上悄悄测试了 27 个未公开的私有模型变体——赢了才发布，输了就静默下架。普通用户上传一个模型就是一次对战，大厂上传二十多次再挑最好的成绩，这已经不是考试，是无限次模拟考后只交最好那张卷子。 **第二，数据不对称。** 论文指出，OpenAI 和 Google 各自能接触到约两成的 LMArena 对战数据，而 83 个开源模型加起来只分到不到三成。意味着什么？对战平台的用户 prompt 是绝佳的“人类偏好训练数据”，大厂一边打榜一边拿数据反哺下一代模型，开源玩家连汤都喝不上。 **第三，下架规则不对称。** 开源模型被下架或静默弃用的频率远高于闭源模型，导致榜单历史成绩的统计方式天然有利于头部玩家。 LMArena 随后发布官方博客回应，否认“系统性偏袒大厂”，称论文存在误读，同时强调平台一直在做改进——比如更早推出的 style control（风格控制），就是为了剥离“回答更长、排版更花、emoji 更多”带来的虚假加分。社区对这份回应的评价两极：有人认为平台是唯一的盲测基础设施，被冤枉了；有人则认为“大厂私测 27 次你管不了”本身就说明游戏规则已经失效。 ## 三、更深的水：你的跑分可能被“刷”过 榜单偏袒只是表层。更深一层的问题是**评测集污染**——模型在训练时见过考题，考试就变成了默写。 这件事在 AI 圈有漫长的黑历史：GSM8K（小学数学）早在几年前就被头部模型打到 95% 以上接近满分，HumanEval（代码生成）同样饱和，继续用它们排名毫无意义。SWE-bench（真实 GitHub issue 修 bug）本是公认的硬榜，但随着各家模型训练数据越滚越大，“这道题的原始 commit 是否在训练集里”成了悬在所有分数头上的问号。OpenAI 在 2024 年 8 月推出的 SWE-bench Verified（500 道人工校验子集）算是止血措施，但污染疑虑始终没有根除。 于是各家开始搞“防污染评测”，思路出奇一致：**不让你提前看到题**。 - **LiveCodeBench**：用竞赛平台上滚动出现的新题构建题库，按模型知识截止日划窗，只算截止之后的题； - **ARC-AGI**：Chollet 设计的抽象推理基准，测试集长期私藏，结果由主办方验证； - **Humanity's Last Exam（HLE）**：Scale AI 与 CAIS 联合发起，两千多道专家级冷门难题，专治 benchmark 饱和； - **Scale SEAL**：题目私有、定期轮换，模型方只能拿分数拿不到题。 还有一个更朴素但更扎心的指标来自 METR（Model Evaluation & Threat Reduction）：他们测算，模型能独立完成的任务时长大约每 7 个月翻一倍。这类“时间跨度”指标绕开了单题对错，直接量生产力，正在被越来越多的工程团队当作选型参考。据 METR 报告的说法，这个趋势至今没有放缓迹象（未经官方证实的后续更新请以官网为准）。 Agent 时代让评测更难了：同一个任务，模型可以走十条不同的工具调用路径，结果对 prompt 模板、系统提示词、甚至工具描述的措辞都极度敏感。官方榜单那几分差距，换到你自己的工作流里可能完全反转——这正是海外社区“去榜单化”运动的核心论据。 ## 四、社区自救：三招替代官方榜单 吵归吵，海外工程师是行动派，目前已经跑通三条替代路径。 **第一招：盲测。** r/LocalLLaMA 社区流行匿名 A/B 对比——发起人隐藏模型名，让社区成员盲选哪个回答更好，选完再揭晓身份，专治“品牌信仰”。EQ-Bench（作者 Samuel Paech）在创意写作等主观赛道上也做了类似的盲评机制，绕开风格加分。 **第二招：私有评测集。** 用自己业务的真实数据出一套题，谁家好用在你的场景里一目了然。工具已经非常成熟：开源阵营有 **promptfoo**（YAML 声明式配置、支持多模型对比、可断言可回归）、**DeepEval**（pytest 风格的 LLM 测试框架）、**Langfuse**（追踪+评测一体的可观测平台）；OpenAI 也开源了 simple-evals 供参考复现。商业阵营 Braintrust、LangSmith 把这套东西做成了托管服务。海外创业公司甚至长出了“评测外包”这个细分市场——因为没人敢再信公开榜单。 **第三招：看榜新姿势。** 硬着头皮还要看公开榜时，老手会做四步检查：一查模型知识截止日与题库时间窗是否重叠；二看是不是 Verified/人工校验子集；三看平台开没开 style control；四找第三方复现——比如 Aider 的 polyglot 多语言代码榜，因为评测脚本全开源、榜单由作者独立维护，社区信任度一直很高。 给非技术读者画一张决策图，拿到任何一张新榜单时照着走： ```mermaid flowchart TD A["看到一张新模型榜单"] --> B{"榜单是否公开可复现"} B -->|不公开| C["只当风向参考不当选型依据"] B -->|公开| D{"题库是否滚动更新"} D -->|固定题库| E["警惕与训练集同源污染"] D -->|滚动更新| F["参考价值较高"] C --> G["用自有业务数据搭私有评测集"] E --> G F --> G G --> H["promptfoo 或 DeepEval 接入CI持续回归"] ``` ## 五、三方观点对撞 | 阵营 | 核心主张 | 代表声音 | |------|---------|---------| | 支持榜单方 | LMArena 是唯一的大规模盲测基础设施，风格控制、开奖公开等改进一直在做；论文的“共谋”指控是误读 | LMArena 官方博客回应 | | 批评方 | 私测 27 个变体+数据回馈大厂，说明榜单已被营销与训练博弈接管，“排行榜 Illusion”名副其实 | Cohere Labs 论文、r/LocalLLaMA 大量高赞帖 | | 实用主义中立派 | 榜单没死，但角色变了：只当“粗筛风向标”，不当“选型依据”；真正的选型必须回到自有场景评测 | HN 上多位工程团队负责人的一致口径 | ## 六、信息差总结 | 你以为的 | 实际情况 | |---------|---------| | 榜单分数=模型能力 | 榜上版本可能≠发布版本（Llama 4 实锤），大厂可无限次私测挑最好成绩 | | 开源模型分数可信度天然更高 | 恰恰相反：论文指开源模型在数据获取和下架规则上双吃亏 | | 跑分高=你的场景好用 | 题库可能被训练集污染；agent 场景对 prompt 措辞极度敏感，几分差距毫无意义 | | 没有替代方案 | 盲测社区、promptfoo/DeepEval 私有评测、LiveCodeBench/SEAL 防污染评测已全部跑通，半天就能上手 | | 评测是研究者的活 | 海外已把“给自家业务搭评测”当成标准工程实践，甚至养出了外包行业 | ## 七、行动指南：半天搭一套你的私有评测 1. **攒题**：从业务日志/客服记录/代码库里挑 50–200 条真实任务（问答、改 bug、摘要都行），标上人工判定的“好答案”作为参照； 2. **装工具**：`npm install -g promptfoo`，然后 `promptfoo init` 生成脚手架； 3. **配 providers**：在 `promptfooconfig.yaml` 里把候选模型（比如 GPT 系、Claude 系、国产开源模型）都列上，同一套 prompt 跑所有模型； 4. **加断言**：用关键词匹配、LLM-as-judge（让另一个模型当裁判打分）、或人工抽查三种方式混合评分； 5. **进 CI**：跑 `promptfoo eval`，配合 `promptfoo view` 网页对比结果；把这一步挂进 GitHub Actions，以后换模型、改 prompt 全部自动回归——分数不再是每个月追榜单追出来的，而是你自己仓库里的一条绿灯。 进阶：主观任务（文案、创意写作）用双盲抽评代替 LLM-as-judge；代码任务可参考 LiveCodeBench 的思路，只用你知识截止日之后的真实需求出题。 **对中国用户的启示**：国内自媒体和厂商转述海外榜单时几乎从不提“版本一致性”“污染”“风格控制”这三个坑，别再直接引用转述榜单做采购或选型决策；另外，这波“评测信任危机”本身就是机会——会搭私有评测的工程师，在出海团队和跨境咨询市场上正在变得抢手，promptfoo 全家桶的学习成本只有一个下午。 ## 参考来源 1. The Leaderboard Illusion（Cohere Labs 论文）：https://arxiv.org/abs/2504.20879 2. LMArena 官方博客（对论文的回应与 style control 说明）：https://blog.lmarena.ai 3. LiveCodeBench（滚动题库防污染评测）：https://livecodebench.github.io 4. SWE-bench Verified：https://www.swebench.com 5. METR 任务时长研究报告：https://metr.org 6. promptfoo 开源评测框架：https://github.com/promptfoo/promptfoo --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。