你天天刷的模型榜单，海外工程师已经不太信了；你写代码前可能没写的那份规格书，正在GitHub上被打磨成新工种；而图灵奖得主杨立昆（Yann LeCun）干脆赌上名声，说大语言模型是条歧路。这三场争论都发生在过去几个月的Hacker News和Reddit上，国内讨论声量很小，但每一条都直接影响你接下来怎么选工具、怎么带团队、往哪个方向下注。这篇文章把三场架的来龙去脉、各方观点和你可以立刻执行的动作一次讲清。 --- ## 议题一：榜单集体失灵，海外工程师开始“自建考卷” ### 事情是怎么吵起来的 2025年3月，评测机构METR发布论文《Measuring AI Ability to Complete Long Tasks》，提出了一个新指标——**时间地平线（time horizon）**：一个模型能以50%成功率独立完成的任务，换成人类专家来做需要多久。核心结论是：这个数字大约**每7个月翻一倍**。论文发布时，前沿模型的地平线在1小时上下；据METR官网的后续更新，新一代模型已普遍推进到数小时级别。这条陡峭的曲线成了海外社区引用最多的“真实能力”参照物，因为它测的不是刷题，而是连续几小时的工程活。 为什么需要新指标？因为老榜单接连翻车，三个标志性事件： 1. **FrontierMath利益冲突**。这是Epoch AI设计的奥赛级数学基准，号称“人类顶尖数学家都做不出”。2025年1月，据Time等海外媒体报道，OpenAI既是该基准的资助方，又持有约四分之一未公开题目的访问权。消息曝光后数学界哗然——陶哲轩等参与设计的数学家公开回应将修订协议，Hacker News上关于“评测还能不能信”的讨论刷了几天首页。 2. **“人类最后考试”（Humanity's Last Exam）快速饱和**。2025年1月由CAIS与Scale AI发布，2500道题，发布时最好的模型得分不到10%，被寄予“能挡模型五年”的厚望。结果年内头部模型在联网工具加持下就冲到30%以上，社区还陆续发现部分题目本身有错误或过时。“最后考试”没撑过第一年。 3. **SWE-bench刷穿**。这个真实GitHub修bug基准的榜首成绩普遍冲到八九成，于是Scale AI在2025年9月推出更难的SWE-bench Pro——头部模型成绩应声跳水，公开测试中掉到两成上下。行业这才承认：旧基准测的不是能力，是背题。 ### 三派观点 - **榜单虚无派**：“所有公开基准都是营销材料，厂商先看题再训练，发布前已经污染。” - **真实任务派**（METR、SWE-Lancer支持者）：与其考知识，不如测“能连续干多久的活”。OpenAI自家的SWE-Lancer干脆把Upwork上价值总额100万美元的真实外包任务搬进评测，当时最好的模型也只能挣走零头。 - **私有评测派**：公开榜单只用来看趋势，选型必须拿自己的真实任务建“黄金考卷”。 ### 对你的价值 第三派最值得抄。海外成熟团队现在的标配是：30~50条从自己业务里扒出来的真实任务＋人工定的通过标准，用开源工具批量跑候选模型。现成轮子有两个：**promptfoo**（promptfoo.dev，一条命令跑多模型对比）和英国AI安全研究所的**inspect-ai**（inspect.aisi.org.uk，专为模型评测设计的开源框架）。另外想看“防污染版”榜单，可以盯**LiveCodeBench**（livecodebench.github.io），它只滚动收录基准发布后的新题，刷题党无处遁形。 --- ## 议题二：写代码前先写规格书——Spec Kit和Kiro把瀑布流吵活了 ### 起因 AI编程Agent的痛点已经从“写不出”变成“写不对”：你说要A，它给你B，改三轮还是偏。海外社区吵出来的答案是——问题不在模型，在你没说清楚。于是2025年秋天，GitHub开源了**Spec Kit**（github.com/github/spec-kit），把“规格驱动开发”（Spec-Driven Development）做成了一套工具：用斜杠命令驱动AI Agent按流程干活。几乎同一时间，AWS推出了按同一哲学设计的IDE **Kiro**（kiro.dev），强制生成三份文档：需求（requirements）、设计（design）、任务（tasks）。 Spec Kit的工作流长这样，值得原样抄走： ```mermaid flowchart TD A["宪法文件
定下项目铁律"] --> B["写规格
只说做什么"] B --> C["澄清问答
AI反问补漏洞"] C --> D["技术计划
定怎么做"] D --> E["拆成任务清单"] E --> F["审计一致性"] F --> G["逐条实现"] G --> H["按规格验收"] ``` 关键在两步：**clarify**让AI反过来追问你（需求文档的查漏环节），**analyze**让AI审计任务清单与技术计划有没有打架。多数人用AI编程翻车，就是缺了这两道闸。 ### 社区吵成三派 - **拥护派**：“规格就是AI时代的源代码。代码是给机器的，规格才是给人的、可评审、可交接的资产。Gemini式的自由发挥毁掉的 项目，规格书都救得回来。” - **嘲讽派**：Hacker News上最热的一条批评大意是——“我们花二十年干掉瀑布流，现在AI又把它带回来了，还美其名曰新范式。”他们担心文档腐烂：代码改了规格没人更新，反而制造误导。 - **务实派**：分场景。新项目、跨团队协作、要交接的复杂特性，规格驱动收益巨大；改一行样式的小活还走全套流程，纯属自虐。 ### 对你的价值 国内用Claude Code、Copilot的人很多，但按规格驱动流程组织工作的极少，这就是方法差。Spec Kit免费开源，官方模板明确支持Copilot、Claude Code、Gemini CLI、Cursor等主流Agent，下午就能在一个真实小项目上跑通全流程。Kiro有免费额度可试用，适合想看“官方整流版”长什么样的人。 --- ## 议题三：LLM是歧路？世界模型门派开战 ### 两件大事 第一件：2025年8月，Google DeepMind发布**Genie 3**——输入一段文字，生成一个可以实时走进去的交互式3D世界，720分辨率、24帧每秒，场景一致性可维持数分钟，还支持“可提示世界”（promptable world）：走图过程中实时改天气、改路况。DeepMind明确说它的用途不是做游戏，而是**给Agent当训练场**——机器人和智能体可以在里面无限次试错。 第二件：据英国《金融时报》等海外媒体2025年底报道，深度学习三巨头之一、图灵奖得主LeCun计划离开Meta，创办一家主攻“世界模型”的初创公司，路线接近他呼吁多年的JEPA架构（此动向以官方确认为准，融资细节未经证实）。他多年来的核心论断只有一句：**LLM学的是文字缝隙里的世界，缺物理直觉，不会真正的规划**——靠下一个词预测到不了AGI。 ### 三派观点 - **缩放正统派**：LLM路线没病，只是还缺数据。视频和现实世界就是下一座矿，Genie 3这类世界模型恰恰是给缩放派供数据的工具，两边不对立。 - **世界模型派**（LeCun一系）：现有大模型是“背下全世界的鹦鹉”，撞上物理世界就露馅；要系统2思考、要规划，必须换架构。 - **实用怀疑派**：Hacker上的高赞态度是“目前这就是个昂贵的游戏引擎”——演示惊艳，离能收费的产品很远，20年前的游戏引擎都更稳。 ### 对你的价值 短期别指望买到来货，但三个方向值得提前卡位：一是**游戏与影视资产生成**——可控交互世界一旦商用，场景搭建成本会塌方；二是**机器人仿真训练**——国内做具身智能的团队可以研究Genie 3类的环境生成思路替代手工建模；三是**人才与资本流向**——顶级研究者集体押注的方向，通常领先产品落地18~24个月，这是布局的窗口期。 --- ## 信息差总结 | 你知道的 | 别人已经知道的 | |---------|--------------| | 看榜单分数选模型 | 公开基准已被污染刷穿，选型靠自建30题黄金集（promptfoo / inspect-ai） | | AI编程=直接跟Agent对话 | GitHub Spec Kit把“规格→澄清→计划→任务→实现→审计”做成了免费开源流水线 | | 大模型路线一家独大 | METR“时间地平线”每7个月翻倍、Genie 3开放世界训练场、LeCun押注世界模型，路线之争已摆上桌面 | ## 行动指南 1. **今晚就做**：从你的日常工作里挑30条真实任务，写清通过标准，丢进promptfoo跑两个候选模型——你会第一次看到“真实分数”而不是营销分数。 2. **本周做**：挑一个下周要动手的新功能，用Spec Kit按上面流程图走完全部命令（/constitution到/implement），对比你裸用Agent的返工次数。 3. **本月做**：把METR官网博客加入RSS，每季度看一眼时间地平线曲线；顺手读一次DeepMind博客的Genie 3原文，判断它和你所在行业有没有交集。 ## 参考来源 1. GitHub Spec Kit（开源仓库）：https://github.com/github/spec-kit 2. METR《Measuring AI Ability to Complete Long Tasks》及后续更新：https://metr.org 3. LiveCodeBench（防污染滚动评测）：https://livecodebench.github.io 4. AWS Kiro（规格驱动IDE）：https://kiro.dev 5. UK AISI inspect-ai（开源评测框架）：https://inspect.aisi.org.uk --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。