AI的成绩单，还能信几分？

首页 › trending › AI的成绩单，还能信几分？

最近半年，海外技术社区吵得最凶的话题，不是哪家模型又发新版本，而是一个更扎心的问题：我们用来判断模型好坏的那张成绩单，本身靠谱吗？这场「AI测量信任危机」从2025年烧到现在，蔓延出三条战线：公开榜单失真、AI提效神话翻车、公司把AI用量写进KPI引发文化战争。国内讨论还停留在“哪个模型排行榜第一”，而海外已经进入“排行榜还能不能信”的深水区。这三场论战的论据、各方立场和实操结论，才是你现在最该补的课——它直接决定你下周买哪家API、怎么给团队定AI目标。

论战一：公开榜单，正在变成厂商的营销部

先说最硬核的一条战线。2025年4月，Cohere Labs联合MIT、斯坦福等机构的研究者发出一篇论文《The Leaderboard Illusion》（榜单幻象），把全球开发者最信任的盲测榜单LMArena（原Chatbot Arena）按在地上摩擦。

论文里最出圈的几个发现（LMArena官方事后发文反驳了部分结论，双方各执一词，你可以自己看原文判断）：

私测择优：大厂可以在模型正式发布前，以“匿名私测”的名义往榜单塞大量变体。论文统计，Meta在Llama 4发布前私测了27个变体，挑分数最高的那个公布成绩。
规则不对等：开源模型被静默下架的频率远高于闭源模型，导致开源模型的历史高分被“抹掉”，而闭源厂商的成绩长期保留。
冲榜操作：Llama 4 Maverick发布时，上榜的是一个专门针对人类评审口味微调过的“实验版”，和实际发布的版本不是一个东西。事件曝光后，LMArena承认该行为违背了榜单精神，并更新了政策。

如果你觉得这是榜单运营的问题，换个正经榜单就好——那考题污染会更让你绝望。2024年Scale AI团队做了一个著名实验：照着小学数学榜GSM8K重新出一套几乎等价的题（GSM1k），结果一批开源模型成绩平均下滑，个别模型掉了超过10个百分点。原因只有一种解释：原题早就混进了训练数据，模型是背题，不是解题。

与此同时，老榜单一一“考糊了”：GSM8K、MMLU这些经典基准早就被打到95%以上，失去了区分度。社区被迫不断造新考卷——2025年初登场的Humanity's Last Exam汇集了近三千道专家级难题，发布时最强模型得分不到10%，结果几个月内就被各家刷到25%以上（带工具甚至更高），官方自己也承认这张卷子寿命有限。ARC Prize基金会推出的ARC-AGI-2上线时，最强模型也只有个位数分数。新考卷的半衰期越来越短。

flowchart TD
    A["厂商准备新模型"] --> B["私测几十个变体"]
    B --> C["只公布最高分版本"]
    C --> D["公开榜单刷出高分"]
    E["考题混入训练数据"] --> D
    F["模型针对性刷题"] --> D
    D --> G["你据此选型采购"]
    G --> H["真实业务里翻车"]

各方观点：一派认为盲测榜仍是最后净土，因为真人盲评很难被完全操纵；一派认为它已经被大厂资本异化成营销工具，中小厂商和开源社区是受害者；中间派主张“榜单只看趋势，不做决策”。

对你最有用的替代方案（海外社区目前的主流做法）：

你可能还在用的	海外先进做法
看LMArena总分选模型	只看趋势，锁定和自己场景相近的任务子集
用GSM8K/MMLU判断智力	用LiveBench（每月换题）看抗污染成绩
信厂商宣传的跑分	看第三方复测：Epoch AI的Benchmarking Hub
没有自己的评测集	用promptfoo给业务建私有考卷（后面教你）

另外一个容易被忽略的信号：Anthropic自己也在工程博客里推广“vibe evals”（体感评测）——承认自动化指标测不出的东西，用结构化的人工评审补位。头部厂商自己都不迷信榜单，这就是最强的信号。

国内视角：SuperCLUE、OpenCompass这些国内榜单面临同样的污染和饱和问题，逻辑完全一样。国内公司选型时普遍还停留在“看榜+跑通用题”，私有评测的普及度比海外低至少一年——这本身就是可操作的信息差。

论战二：AI让人提速19%，还是降速19%？

2025年7月，模型安全评测机构METR发了一篇论文，在HN和Reddit炸出几千条评论。实验设计其实很干净：招募16名资深开源开发者，在他们自己维护的成熟项目里做246个真实任务，随机决定每个任务能否使用AI（Cursor加Claude 3.5/3.7 Sonnet），最后比较完成时间。

结果：用AI的这组，慢了19%。

更魔幻的是体感和现实的偏差：动手前，开发者预测AI能让自己提速24%；做完之后，他们仍坚信AI帮自己提速了20%。实际是负19%。也就是说，体感和实测的偏差接近40个百分点。

这篇论文成了两大阵营的武器库，吵到今天没停：

信派：这才是真实世界的答案。厂商的提速数据全来自隔离小任务，而资深工程师在自家仓库里早就有完整的上下文，AI读写代码、来回沟通的开销反而拖慢节奏。“自以为变快”恰恰是最危险的生产力幻觉。
疑派：样本只有16人、任务随机分配不符合真实工作方式、用的是2025年初的工具版本、这些开发者对自己的代码库熟到AI没有发挥空间。换个新人、换个新项目，结论可能完全反过来。GitHub官方2022年的对照实验里，Copilot在独立小任务上确实带来了约55%的提速——两边说的可能都对，只是场景不同。
数据侧佐证：Google Cloud的DORA年度报告2024版给出过一个让很多人意外的关联：AI采用率每提升25%，交付吞吐量约降1.5%，交付稳定性约降7.2%；2025版报告把口径改成“AI是放大器”——流程好的团队用AI更强，流程烂的团队用AI放烂。Stack Overflow 2025开发者调查里，近半数开发者表示不信任AI工具的准确性，不信任比例比前一年明显上升。

flowchart TD
    A["攒50条真实工作任务"] --> B["记录无AI基线耗时"]
    B --> C["两周用AI两周不用"]
    C --> D["对比PR周期和返工率"]
    D --> E{"实测有提速？"}
    E -->|有| F["加大投入并留数据"]
    E -->|没有| G["降级AI为辅助工具"]
    G --> H["三个月后再复测"]
    F --> H

这场的正确姿势不是站队，而是承认一个反常识事实：提效是逐人、逐任务、逐代码库的局部现象，不是全局真理。厂商发布会上那句“所有人效率提升X%”，在方法论上和“榜单第一”一样不可信。

国内视角：国内公司的AI提效汇报普遍还停留在“生成代码行数”“文档产量”这类产出指标——恰好是最容易被体感幻觉污染的口径。METR的做法（随机分组、实测耗时、对比基线）国内几乎没有团队在做，抄这个实验设计，你就是全公司唯一有真实数据的人。

论战三：把AI用量写进KPI，是革命还是形式主义？

第三条战线最贴近打工人。2025年4月，Shopify CEO Tobi Lütke的一份内部备忘录流出（他随后在X上确认属实），里面几条要求相当狠：高效使用AI是每位员工的基本预期；团队申请增加人头之前，必须先证明“这件事为什么AI做不了”；新项目启动前，用AI做原型是强制动作。

同月，Duolingo宣布转型"AI-first"，逐步用AI替代外包承包商的内容工作，结果引发用户和员工的社媒抵制潮，CEO Luis von Ahn随后公开澄清没有裁掉全职员工、还会继续招聘，试图灭火。更早几天，Fiverr CEO的内部信里直接写“AI正在冲着你的工作来，也冲着我的工作来”。2025年6月，亚马逊CEO Andy Jassy公开表示，随着生成式AI提升效率，未来几年公司白领岗位会减少。

这波“AI命令式管理”在海外激出了三种立场：

支持派：不推不动是常态，CEO不把AI写进硬指标，中层永远不会给员工留试用时间。Shopify的做法本质是“用预算约束倒逼实验文化”，方向没错。
反对派：管理学界的老教训——你考核什么就得到什么，唯独不一定是你要的。考核“AI使用量”的直接后果是员工用AI生成没人看的周报、往代码里塞不必要的AI产物来交差，真正的问题（流程烂、分工烂）被掩盖。海外论坛把这种现象叫shadow AI反噬：明面上人人达标，暗地里该用什么还用什么。
中立派：采用率指标在推广早期有用，但必须在6-12个月内换成产出和质量指标，否则形式主义必然反噬。

国内视角：这一幕你大概率觉得眼熟——国内大厂的“全员AI化”OKR、AI使用率纳入绩效，几乎是同一套打法在另一个时间线上重演。海外吵了一整年沉淀下来的经验值得直接抄：把KPI从“用了多少次”改成“用AI跑通了哪些可验证的产出”，比如AI辅助原型的上线数、自动化脚本节省的工时（实测口径，不是填报口径）。

信息差总结

你以为的	海外社区已经验证的
榜单第一=最强模型	大厂私测择优+考题污染，榜单只适合看趋势
厂商说提速X%就是提速X%	METR实测：资深开发者用AI反而慢19%，且自以为快20%
AI提效是普适真理	提效是局部现象，必须在自己任务上随机分组实测
公司考核AI使用量=重视AI	考核用量只会催生打卡式使用，6-12个月内必须换成产出指标
国内选型看通用跑分够了	私有评测集是海外成熟团队的标配，国内普及度低一年

行动指南

这周：下载promptfoo（开源，GitHub搜promptfoo），把业务里最典型的20-50个真实任务攒成私有评测集，写清验收标准。
下周：用评测集盲测2-3个候选模型（含国内模型），抽检人工打分，选出你场景里的真冠军，别再看榜单吵架。
本月：给自己或团队做一次METR式小实验——两周用AI、两周不用，对比PR周期和返工率，拿到自己的真实数据。
对上管理：如果公司在推AI指标，用上面两组数据去谈判——要工具预算、要试错期，把考核口径从“使用量”改成“实测产出”。
持续跟踪：榜单看LiveBench和ARC Prize的动态就够了，趋势性参考，不做决策依据。

参考来源

论文《The Leaderboard Illusion》：https://arxiv.org/abs/2504.20879 （如失效可搜索标题）
METR开发者生产力实验：https://metr.org 及论文 https://arxiv.org/abs/2507.09089
LiveBench抗污染榜单：https://livebench.ai
ARC Prize基金会（ARC-AGI系列）：https://arcprize.org
promptfoo开源评测框架：https://github.com/promptfoo/promptfoo

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入