首页 › trending › 海外吵翻三件事:榜单、规格书、世界模型

你天天刷的模型榜单,海外工程师已经不太信了;你写代码前可能没写的那份规格书,正在GitHub上被打磨成新工种;而图灵奖得主杨立昆(Yann LeCun)干脆赌上名声,说大语言模型是条歧路。这三场争论都发生在过去几个月的Hacker News和Reddit上,国内讨论声量很小,但每一条都直接影响你接下来怎么选工具、怎么带团队、往哪个方向下注。这篇文章把三场架的来龙去脉、各方观点和你可以立刻执行的动作一次讲清。


议题一:榜单集体失灵,海外工程师开始“自建考卷”

事情是怎么吵起来的

2025年3月,评测机构METR发布论文《Measuring AI Ability to Complete Long Tasks》,提出了一个新指标——时间地平线(time horizon):一个模型能以50%成功率独立完成的任务,换成人类专家来做需要多久。核心结论是:这个数字大约每7个月翻一倍。论文发布时,前沿模型的地平线在1小时上下;据METR官网的后续更新,新一代模型已普遍推进到数小时级别。这条陡峭的曲线成了海外社区引用最多的“真实能力”参照物,因为它测的不是刷题,而是连续几小时的工程活。

为什么需要新指标?因为老榜单接连翻车,三个标志性事件:

  1. FrontierMath利益冲突。这是Epoch AI设计的奥赛级数学基准,号称“人类顶尖数学家都做不出”。2025年1月,据Time等海外媒体报道,OpenAI既是该基准的资助方,又持有约四分之一未公开题目的访问权。消息曝光后数学界哗然——陶哲轩等参与设计的数学家公开回应将修订协议,Hacker News上关于“评测还能不能信”的讨论刷了几天首页。
  2. “人类最后考试”(Humanity's Last Exam)快速饱和。2025年1月由CAIS与Scale AI发布,2500道题,发布时最好的模型得分不到10%,被寄予“能挡模型五年”的厚望。结果年内头部模型在联网工具加持下就冲到30%以上,社区还陆续发现部分题目本身有错误或过时。“最后考试”没撑过第一年。
  3. SWE-bench刷穿。这个真实GitHub修bug基准的榜首成绩普遍冲到八九成,于是Scale AI在2025年9月推出更难的SWE-bench Pro——头部模型成绩应声跳水,公开测试中掉到两成上下。行业这才承认:旧基准测的不是能力,是背题。

三派观点

对你的价值

第三派最值得抄。海外成熟团队现在的标配是:30~50条从自己业务里扒出来的真实任务+人工定的通过标准,用开源工具批量跑候选模型。现成轮子有两个:promptfoo(promptfoo.dev,一条命令跑多模型对比)和英国AI安全研究所的inspect-ai(inspect.aisi.org.uk,专为模型评测设计的开源框架)。另外想看“防污染版”榜单,可以盯LiveCodeBench(livecodebench.github.io),它只滚动收录基准发布后的新题,刷题党无处遁形。


议题二:写代码前先写规格书——Spec Kit和Kiro把瀑布流吵活了

起因

AI编程Agent的痛点已经从“写不出”变成“写不对”:你说要A,它给你B,改三轮还是偏。海外社区吵出来的答案是——问题不在模型,在你没说清楚。于是2025年秋天,GitHub开源了Spec Kit(github.com/github/spec-kit),把“规格驱动开发”(Spec-Driven Development)做成了一套工具:用斜杠命令驱动AI Agent按流程干活。几乎同一时间,AWS推出了按同一哲学设计的IDE Kiro(kiro.dev),强制生成三份文档:需求(requirements)、设计(design)、任务(tasks)。

Spec Kit的工作流长这样,值得原样抄走:

flowchart TD
    A["宪法文件<br/>定下项目铁律"] --> B["写规格<br/>只说做什么"]
    B --> C["澄清问答<br/>AI反问补漏洞"]
    C --> D["技术计划<br/>定怎么做"]
    D --> E["拆成任务清单"]
    E --> F["审计一致性"]
    F --> G["逐条实现"]
    G --> H["按规格验收"]

关键在两步:clarify让AI反过来追问你(需求文档的查漏环节),analyze让AI审计任务清单与技术计划有没有打架。多数人用AI编程翻车,就是缺了这两道闸。

社区吵成三派

对你的价值

国内用Claude Code、Copilot的人很多,但按规格驱动流程组织工作的极少,这就是方法差。Spec Kit免费开源,官方模板明确支持Copilot、Claude Code、Gemini CLI、Cursor等主流Agent,下午就能在一个真实小项目上跑通全流程。Kiro有免费额度可试用,适合想看“官方整流版”长什么样的人。


议题三:LLM是歧路?世界模型门派开战

两件大事

第一件:2025年8月,Google DeepMind发布Genie 3——输入一段文字,生成一个可以实时走进去的交互式3D世界,720分辨率、24帧每秒,场景一致性可维持数分钟,还支持“可提示世界”(promptable world):走图过程中实时改天气、改路况。DeepMind明确说它的用途不是做游戏,而是给Agent当训练场——机器人和智能体可以在里面无限次试错。

第二件:据英国《金融时报》等海外媒体2025年底报道,深度学习三巨头之一、图灵奖得主LeCun计划离开Meta,创办一家主攻“世界模型”的初创公司,路线接近他呼吁多年的JEPA架构(此动向以官方确认为准,融资细节未经证实)。他多年来的核心论断只有一句:LLM学的是文字缝隙里的世界,缺物理直觉,不会真正的规划——靠下一个词预测到不了AGI。

三派观点

对你的价值

短期别指望买到来货,但三个方向值得提前卡位:一是游戏与影视资产生成——可控交互世界一旦商用,场景搭建成本会塌方;二是机器人仿真训练——国内做具身智能的团队可以研究Genie 3类的环境生成思路替代手工建模;三是人才与资本流向——顶级研究者集体押注的方向,通常领先产品落地18~24个月,这是布局的窗口期。


信息差总结

你知道的 别人已经知道的
看榜单分数选模型 公开基准已被污染刷穿,选型靠自建30题黄金集(promptfoo / inspect-ai)
AI编程=直接跟Agent对话 GitHub Spec Kit把“规格→澄清→计划→任务→实现→审计”做成了免费开源流水线
大模型路线一家独大 METR“时间地平线”每7个月翻倍、Genie 3开放世界训练场、LeCun押注世界模型,路线之争已摆上桌面

行动指南

  1. 今晚就做:从你的日常工作里挑30条真实任务,写清通过标准,丢进promptfoo跑两个候选模型——你会第一次看到“真实分数”而不是营销分数。
  2. 本周做:挑一个下周要动手的新功能,用Spec Kit按上面流程图走完全部命令(/constitution到/implement),对比你裸用Agent的返工次数。
  3. 本月做:把METR官网博客加入RSS,每季度看一眼时间地平线曲线;顺手读一次DeepMind博客的Genie 3原文,判断它和你所在行业有没有交集。

参考来源

  1. GitHub Spec Kit(开源仓库):https://github.com/github/spec-kit
  2. METR《Measuring AI Ability to Complete Long Tasks》及后续更新:https://metr.org
  3. LiveCodeBench(防污染滚动评测):https://livecodebench.github.io
  4. AWS Kiro(规格驱动IDE):https://kiro.dev
  5. UK AISI inspect-ai(开源评测框架):https://inspect.aisi.org.uk

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入