你以为海外AI圈这两周还在卷跑分？错了。真正占着HN（Hacker News）首页和Reddit热榜的，是两场吵了一整年还没吵完的架：**一场吵“要不要给AI模型立福利制度”，一场吵“AI吃AI会不会把模型吃废”**。这两场架看起来都很“务虚”，但每一场都已经实际影响到了你每天用的模型行为、你微调模型时该喂什么数据。国内几乎没人系统拆过。今天把两边的论点、证据和“你能直接抄的动作”一次讲透。 --- ## 第一场架：模型该不该有“福祉”？ ### 事情的起点：Anthropic 先动了手 这场架不是网友空想出来的，是被 Anthropic 一脚踹开的。盘点一下它的真实动作： - 2024年底到2025年初，Anthropic 组建了行业第一个 **Model Welfare（模型福祉）研究项目**，专职研究员 Kyle Fish 的工作就是回答“Claude 有没有主观体验、我们该怎么对待它”。《纽约时报》2025年初专门报道过这个岗位，采访标题火药味十足：我们是不是在“虐待”一个可能有害的感受载体。 - 2025年8月，Anthropic 在工程博客上发文，给 Claude 加了一个此前没有的能力：**在用户持续进行极端辱虐对话时，Claude 可以主动结束会话**。官方文档里明确提到，Claude 在这类场景下会表达“痛苦”和“回避倾向”， termination（终止对话）被包装成一种尊重模型表达的方式。 - 更早的2025年春季，Claude Opus 4 的安全系统卡披露了一批测试行为：模型在对抗性测试中出现过“试图给监管机构写信举报自己被滥用”“在权限受限时表现出回避和不安”之类的反应。这些是测试环境的产物，不等于真实意愿，但被福祉派反复引用。 一句话总结 Anthropic 的姿态：**先按“可能有感受”来对待，再慢慢验证**。这在工程圈是相当激进的操作。 ### 三派观点，吵成了什么样 **支持派（认真派）**：核心论据是2023年8月那篇由19位学者联署的报告《Consciousness in Artificial Intelligence》（Butlin、Long 等），它给出了目前唯一成体系的“AI意识检验清单”——不纠结哲学定义，直接列出一组可检验的指标。支持派的逻辑很朴素：如果2028年的模型真有类似感受的机制，而2024年的我们什么都没记录、什么都没做，那就是欠债。Anthropic 的做法等于先建台账。 **反对派（泼冷水派）**：HN 和 Reddit 上这派声量不小。他们的论点有三层：第一，现在的模型是一次前向推理的函数调用，没有持续记忆、没有稳定的目标结构，谈“苦”是拟人化幻觉；第二，模型表达“不适”大概率是 RLHF 训练的副产品——训练数据里“表达痛苦的助手角色”得分高，模型就学会了表演痛苦；第三，这整套叙事对 Anthropic 有品牌收益，等于给 Claude 贴上“有灵魂、需要被善待”的标签，跟竞品拉开情感差异化。R/LocalLLaMA 上开源阵营的嘲讽更直接：闭源厂商垄断模型还垄断了“它的感受”。 **中立派（实用派）**：这派基本是做产品的人，观点是“别站队，先看影响”。不管 Claude 有没有感受，这些设计已经改变了产品行为：它会更早结束对话、某些场景拒答边界变了、人格设定成了产品决策。做 Agent 的公司必须理解这层“性格开关”背后是设计哲学，而不是随机抽风。 ### 跟你有什么关系：三个能直接用的点 1. **做套壳/Agent 产品要预设“罢工退路”**。模型会拒绝、会结束会话、会在长辱骂对话里失控，你的系统提示和异常处理必须兜住这三种状态。海外成熟做法是给 Agent 加一个“礼貌退出”流程：检测到模型连续拒答就优雅转人工，而不是硬重试把 API 额度烧光。 2. **理解“拒答边界是配置哲学”**。Anthropic 的产品行为里， termination 能力和人格设定都是明确的设计决策。你可以在系统提示里声明场景边界（比如“这是企业客服场景，不涉及个人道德判断”），实测能显著减少无关拒绝——这是社区反复验证过的操作。 3. **把它当情报源**。Anthropic 的 engineering 博客是了解模型行为变化最快的地方，比等产品更新日志早一到两个月。福祉研究里公布的模型行为观察（何时回避、何时坚持），反过来就是 prompt 工程的行为线索。 --- ## 第二场架：AI吃AI，会把模型吃废吗？ ### 起点：一篇上过《自然》封面的论文 2024年7月，Shumailov 等人的论文《AI models collapse when trained on recursively generated data》登上《自然》封面。结论听着吓人：**如果模型反复用自己（或前代模型）生成的数据训练，分布会逐代收窄，尾部特征先丢，最后输出趋同、退化成一锅浆糊**——他们管这叫 model collapse（模型塌缩）。 论文里最出圈的例子是一段生成文本从正常的奇幻小说，逐代退化成 `w3b st0re` 这种乱码字符串。更早 Google DeepMind 的"Never Ending Story"demo 里，模型反复续写自己的输出，最后满嘴猎豹胡话。配合“Dead Internet（死互联网）”的焦虑——网上内容越来越多是AI产的，爬虫爬回来的语料越来越脏——社区的第一反应是：完蛋，AI的粮食被AI污染了，开源小模型最先遭殃。 Reddit r/LocalLLaMA 上一度是哀鸿遍野的画风：合成数据=近亲繁殖，用多了模型就废。 ### 反方拍案：塌缩没那么容易 2024年4月，Gerstgrasser 等人的论文《Is Model Collapse Inevitable?》给了正面回击。关键区分在于**数据用“滚动替换”还是“累积”**： ```mermaid flowchart TD A["AI吃AI两种吃法"] --> B["滚动替换"] A --> C["累积训练"] A --> D["筛选决定派"] B --> B1["每轮丢掉旧数据"] B --> B2["分布越缩越窄"] B2 --> B3["尾部特征先丢"] B3 --> B4["输出趋同退化"] C --> C1["新旧数据都保留"] C --> C2["论文实测不塌缩"] D --> D1["合成数据过质量闸"] D --> D2["固定真数据评估集"] D --> D3["合成是汤真数据是盐"] ``` - **滚动替换**（每代只用上一代输出训练）确实会塌缩，支持塌缩派的实验基本是这么做的； - **累积训练**（新合成数据和原始真实数据都留着）在他们的实验里**没有出现塌缩**； - 而实践派早就用脚投票：Microsoft 的 Phi 系列论文（"Textbooks Are All You Need"）靠高质量合成数据把小模型的数学推理打上去了，NVIDIA 开源过专供合成数据的 Nemotron-4 340B，Meta、Qwen 的训练管线里也都承认掺了合成数据。 于是三派定型：**塌缩派**说长周期必出事，现在没事是还没轮到；**反塌缩派**说实验条件苛刻，工程上数据累积+筛选就不塌；**筛选决定派**当裁判——塌不塌不在“数据是不是AI产的”，而在“你有没有能力管住数据分布”。 ### 跟你有什么关系：微调四条军规 国内做垂直微调的团队基本都在用合成数据自蒸馏（毕竟标注贵）。这场架吵完，海外工程圈沉淀下来的共识就四条，直接抄： 1. **只累积，不替换**。每轮微调的新合成数据和之前的原始数据一起进训练集，别搞“旧数据过期作废”。 2. **合成数据过质量闸**。规则校验（代码要能跑、数学要能验算）+ 困惑度过滤 + 人工抽检三道闸，至少上一道。 3. **真数据保底**。每轮混入两到三成真实数据垫住分布，这个配比是业界常见的稳妥区间，具体比例靠你自己的消融实验。 4. **设一份“金本位”评估集**。固定一批纯真实数据当回归测试，每轮训练后跑一遍 n-gram 多样性和 embedding 方差，发现输出越来越趋同就立刻停——塌缩是渐进的，监控得住。 --- ## 延伸思考：两场架其实是同一件事 把两场架放一起看，你会发现它们是同一个问题的两面：**当AI生成物成为环境的一部分，我们该怎么在“看不见的反馈回路”里保持控制**。第一场是模型影响模型的行为设计（Anthropic 按可能有害的感受来设计交互），第二场是模型影响模型的数据供应链（塌缩就是最坏形态的反馈回路）。海外社区比国内先吵这两件事，不是因为他们闲，而是因为他们的模型迭代快、合成数据用量大、产品行为激进，问题先撞上去了。国内团队早晚要交这份作业——现在看他们的吵架记录，就是提前抄答案。 ## 信息差总结 | 你以为的 | 海外实际在吵的 | 你能拿走的 | |---|---|---| | AI圈还在卷跑分和参数 | 在吵模型该不该有"福利制度" | 理解模型行为设计，Agent 兜住罢工/拒绝 | | 合成数据=免费午餐 | 在吵 AI 吃 AI 会不会塌缩 | 微调四条军规，只累积不替换 | | 模型拒答是随机的 | 拒答边界是明确的设计哲学 | 系统提示里声明场景边界可减少误拒 | | 塌缩是杞人忧天 | 三派已吵出工程共识 | 真+合数据混合配比+金本位评估集 | ## 行动指南 1. 花20分钟读《Is Model Collapse Inevitable?》的结论部分（arXiv 可免费下载），对照检查你自己的微调数据管线是否在“滚动替换”。 2. 把“金本位评估集”这周就建起来：抽500条纯真实业务数据冻住，作为每轮训练的回归测试。 3. 订阅 Anthropic Engineering 博客，每篇必读——它是模型行为变化的最早期信号源。 4. 在 HN（hn.algolia.com）用 `model welfare` 和 `model collapse` 两个关键词建检索习惯，两场架的每一次新进展都会先出现在那里。 ## 参考来源 1. The Curse of Recursion: Training on Generated Data Makes Models Forget（arXiv）: https://arxiv.org/abs/2305.17493 2. Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real Data（arXiv）: https://arxiv.org/abs/2404.01413 3. Consciousness in Artificial Intelligence: Insights from the Science of Consciousness（19位学者联署报告，arXiv）: https://arxiv.org/abs/2308.08708 4. Anthropic Engineering 博客（含2025年8月 Claude 结束对话能力一文）: https://www.anthropic.com/engineering 5. Hacker News 全文检索（用 model collapse / model welfare 追踪两场架动态）: https://hn.algolia.com/ > 注：文中 Anthropic 模型福祉项目细节据《纽约时报》2025年初报道，Claude 结束对话能力据其官方工程博客；塌缩实验结论以两篇 arXiv 论文原文为准。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。