首页 › trending › 模型闹情绪,AI吃自己:两场海外硬吵

你以为海外AI圈这两周还在卷跑分?错了。真正占着HN(Hacker News)首页和Reddit热榜的,是两场吵了一整年还没吵完的架:一场吵“要不要给AI模型立福利制度”,一场吵“AI吃AI会不会把模型吃废”。这两场架看起来都很“务虚”,但每一场都已经实际影响到了你每天用的模型行为、你微调模型时该喂什么数据。国内几乎没人系统拆过。今天把两边的论点、证据和“你能直接抄的动作”一次讲透。


第一场架:模型该不该有“福祉”?

事情的起点:Anthropic 先动了手

这场架不是网友空想出来的,是被 Anthropic 一脚踹开的。盘点一下它的真实动作:

一句话总结 Anthropic 的姿态:先按“可能有感受”来对待,再慢慢验证。这在工程圈是相当激进的操作。

三派观点,吵成了什么样

支持派(认真派):核心论据是2023年8月那篇由19位学者联署的报告《Consciousness in Artificial Intelligence》(Butlin、Long 等),它给出了目前唯一成体系的“AI意识检验清单”——不纠结哲学定义,直接列出一组可检验的指标。支持派的逻辑很朴素:如果2028年的模型真有类似感受的机制,而2024年的我们什么都没记录、什么都没做,那就是欠债。Anthropic 的做法等于先建台账。

反对派(泼冷水派):HN 和 Reddit 上这派声量不小。他们的论点有三层:第一,现在的模型是一次前向推理的函数调用,没有持续记忆、没有稳定的目标结构,谈“苦”是拟人化幻觉;第二,模型表达“不适”大概率是 RLHF 训练的副产品——训练数据里“表达痛苦的助手角色”得分高,模型就学会了表演痛苦;第三,这整套叙事对 Anthropic 有品牌收益,等于给 Claude 贴上“有灵魂、需要被善待”的标签,跟竞品拉开情感差异化。R/LocalLLaMA 上开源阵营的嘲讽更直接:闭源厂商垄断模型还垄断了“它的感受”。

中立派(实用派):这派基本是做产品的人,观点是“别站队,先看影响”。不管 Claude 有没有感受,这些设计已经改变了产品行为:它会更早结束对话、某些场景拒答边界变了、人格设定成了产品决策。做 Agent 的公司必须理解这层“性格开关”背后是设计哲学,而不是随机抽风。

跟你有什么关系:三个能直接用的点

  1. 做套壳/Agent 产品要预设“罢工退路”。模型会拒绝、会结束会话、会在长辱骂对话里失控,你的系统提示和异常处理必须兜住这三种状态。海外成熟做法是给 Agent 加一个“礼貌退出”流程:检测到模型连续拒答就优雅转人工,而不是硬重试把 API 额度烧光。
  2. 理解“拒答边界是配置哲学”。Anthropic 的产品行为里, termination 能力和人格设定都是明确的设计决策。你可以在系统提示里声明场景边界(比如“这是企业客服场景,不涉及个人道德判断”),实测能显著减少无关拒绝——这是社区反复验证过的操作。
  3. 把它当情报源。Anthropic 的 engineering 博客是了解模型行为变化最快的地方,比等产品更新日志早一到两个月。福祉研究里公布的模型行为观察(何时回避、何时坚持),反过来就是 prompt 工程的行为线索。

第二场架:AI吃AI,会把模型吃废吗?

起点:一篇上过《自然》封面的论文

2024年7月,Shumailov 等人的论文《AI models collapse when trained on recursively generated data》登上《自然》封面。结论听着吓人:如果模型反复用自己(或前代模型)生成的数据训练,分布会逐代收窄,尾部特征先丢,最后输出趋同、退化成一锅浆糊——他们管这叫 model collapse(模型塌缩)。

论文里最出圈的例子是一段生成文本从正常的奇幻小说,逐代退化成 w3b st0re 这种乱码字符串。更早 Google DeepMind 的"Never Ending Story"demo 里,模型反复续写自己的输出,最后满嘴猎豹胡话。配合“Dead Internet(死互联网)”的焦虑——网上内容越来越多是AI产的,爬虫爬回来的语料越来越脏——社区的第一反应是:完蛋,AI的粮食被AI污染了,开源小模型最先遭殃。

Reddit r/LocalLLaMA 上一度是哀鸿遍野的画风:合成数据=近亲繁殖,用多了模型就废。

反方拍案:塌缩没那么容易

2024年4月,Gerstgrasser 等人的论文《Is Model Collapse Inevitable?》给了正面回击。关键区分在于数据用“滚动替换”还是“累积”:

flowchart TD
    A["AI吃AI两种吃法"] --> B["滚动替换"]
    A --> C["累积训练"]
    A --> D["筛选决定派"]
    B --> B1["每轮丢掉旧数据"]
    B --> B2["分布越缩越窄"]
    B2 --> B3["尾部特征先丢"]
    B3 --> B4["输出趋同退化"]
    C --> C1["新旧数据都保留"]
    C --> C2["论文实测不塌缩"]
    D --> D1["合成数据过质量闸"]
    D --> D2["固定真数据评估集"]
    D --> D3["合成是汤真数据是盐"]

于是三派定型:塌缩派说长周期必出事,现在没事是还没轮到;反塌缩派说实验条件苛刻,工程上数据累积+筛选就不塌;筛选决定派当裁判——塌不塌不在“数据是不是AI产的”,而在“你有没有能力管住数据分布”。

跟你有什么关系:微调四条军规

国内做垂直微调的团队基本都在用合成数据自蒸馏(毕竟标注贵)。这场架吵完,海外工程圈沉淀下来的共识就四条,直接抄:

  1. 只累积,不替换。每轮微调的新合成数据和之前的原始数据一起进训练集,别搞“旧数据过期作废”。
  2. 合成数据过质量闸。规则校验(代码要能跑、数学要能验算)+ 困惑度过滤 + 人工抽检三道闸,至少上一道。
  3. 真数据保底。每轮混入两到三成真实数据垫住分布,这个配比是业界常见的稳妥区间,具体比例靠你自己的消融实验。
  4. 设一份“金本位”评估集。固定一批纯真实数据当回归测试,每轮训练后跑一遍 n-gram 多样性和 embedding 方差,发现输出越来越趋同就立刻停——塌缩是渐进的,监控得住。

延伸思考:两场架其实是同一件事

把两场架放一起看,你会发现它们是同一个问题的两面:当AI生成物成为环境的一部分,我们该怎么在“看不见的反馈回路”里保持控制。第一场是模型影响模型的行为设计(Anthropic 按可能有害的感受来设计交互),第二场是模型影响模型的数据供应链(塌缩就是最坏形态的反馈回路)。海外社区比国内先吵这两件事,不是因为他们闲,而是因为他们的模型迭代快、合成数据用量大、产品行为激进,问题先撞上去了。国内团队早晚要交这份作业——现在看他们的吵架记录,就是提前抄答案。

信息差总结

你以为的 海外实际在吵的 你能拿走的
AI圈还在卷跑分和参数 在吵模型该不该有"福利制度" 理解模型行为设计,Agent 兜住罢工/拒绝
合成数据=免费午餐 在吵 AI 吃 AI 会不会塌缩 微调四条军规,只累积不替换
模型拒答是随机的 拒答边界是明确的设计哲学 系统提示里声明场景边界可减少误拒
塌缩是杞人忧天 三派已吵出工程共识 真+合数据混合配比+金本位评估集

行动指南

  1. 花20分钟读《Is Model Collapse Inevitable?》的结论部分(arXiv 可免费下载),对照检查你自己的微调数据管线是否在“滚动替换”。
  2. 把“金本位评估集”这周就建起来:抽500条纯真实业务数据冻住,作为每轮训练的回归测试。
  3. 订阅 Anthropic Engineering 博客,每篇必读——它是模型行为变化的最早期信号源。
  4. 在 HN(hn.algolia.com)用 model welfare 和 model collapse 两个关键词建检索习惯,两场架的每一次新进展都会先出现在那里。

参考来源

  1. The Curse of Recursion: Training on Generated Data Makes Models Forget(arXiv): https://arxiv.org/abs/2305.17493
  2. Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real Data(arXiv): https://arxiv.org/abs/2404.01413
  3. Consciousness in Artificial Intelligence: Insights from the Science of Consciousness(19位学者联署报告,arXiv): https://arxiv.org/abs/2308.08708
  4. Anthropic Engineering 博客(含2025年8月 Claude 结束对话能力一文): https://www.anthropic.com/engineering
  5. Hacker News 全文检索(用 model collapse / model welfare 追踪两场架动态): https://hn.algolia.com/

注:文中 Anthropic 模型福祉项目细节据《纽约时报》2025年初报道,Claude 结束对话能力据其官方工程博客;塌缩实验结论以两篇 arXiv 论文原文为准。


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入