# 多数研究是错的？一堂复现危机神课 你大概也看过不少「心理学神课」：权力姿态、意志力有限、学习风格……讲得头头是道，引用的论文也都白纸黑字。但2015年《科学》（Science）杂志组织了一场大考：把100篇顶刊心理学研究按原配方重做一遍，只有36%重新显著，平均效应量直接腰斩。这不是个别翻车，而是整个行业的地基问题，学界称之为「可复现性危机」（Replication Crisis）。 Veritasium这条15分钟的视频，是我见过讲这个问题最好的入门课。它没有停留在「科学也有假货」的猎奇层面，而是把「错误研究是怎么被合法地生产出来的」这条流水线拆给你看，最后再端出科学界开出的三张药方。看完你会获得一种稀缺能力：下次再看到任何「研究表明」，你知道该问哪三个问题。 | 项目 | 内容 | |------|------| | 视频标题 | Is Most Published Research Wrong?（大多数已发表的研究都是错的？） | | 频道 | Veritasium（Derek Muller） | | 发布时间 | 2019年 | | 时长 | 约15分钟 | | 播放量 | 500万+（历史量级，未实时核验） | | 核心主题 | 可复现性危机、p值操纵、开放科学 | ## 一、一个狠人论断：为什么敢说「大多数研究是错的」 2005年，斯坦福大学的流行病学家John Ioannidis在PLoS Medicine上发表了一篇标题就很嚣张的论文：《为什么大多数已发表的研究结果是错误的》（Why Most Published Research Findings Are False）。【视频主线】 他没做实验，而是用一组数理推演：当一个研究领域样本小、真实效应弱、数据分析的自由路径又多，那么哪怕所有研究者品行无可挑剔，已发表的阳性结论里假阳性也会占多数。换句话说，「大多数研究是错的」不是对科学家人品的指控，而是对统计结构的推断。这篇论文引用量以万计，被视为复现危机的理论宣言。【背景补充：Ioannidis后来干脆推动了一个新学科——元研究（meta-research），专门「研究研究本身」】 我的延伸解读：这个论断最反直觉的地方在于，它把矛头从「骗子」挪开了。绝大多数研究者诚实、勤奋、想做对，但制度激励（发论文、拿经费、评职称）会系统性地奖励「惊艳的阳性结果」，于是错误不需要坏人就能批量生产。 ## 二、p=0.05不是「95%靠谱」 视频用相当篇幅掰扯了一个几乎人人误读的概念——p值。【视频要点】p=0.05的真正含义是：假如真相什么都没有（零假设成立），出现手头这么极端的数据，概率只有5%。它回答的不是「我的结论为真的概率是95%」。 为什么这个误读致命？把基础率考虑进来就明白了：在一个领域里，多数被检验的新假设本来就是错的。假设100个假设里只有10个为真，即使真假设九成能检出、假假设只有5%误报，已发表的显著结果里假货也能占三成以上——这是统计学里「正向预测价值」的经典算法，也是Ioannidis推演的核心零件。【延伸分析：贝叶斯基础率部分视频一笔带过，公式细节见Ioannidis原文】 这就是第一个认知升级：p值是「证据强度」，不是「真假开关」。0.049和0.051之间没有真理与谬误的鸿沟，只有同一片灰色地带的两侧。 ## 三、p-hacking：不造假也能造出假结果 这一节是视频最精彩的部分。【视频核心演示】所谓「研究者自由度」（researcher degrees of freedom），指分析数据时那些无关对错、却足以改变结论的选择：数据收集到第几个人可以停？离群值剔不剔？协变量测一个还是测五个？要不要按性别、年龄拆成子群再各试一遍？每个选择单独看都合法，但组合起来，5%的错误率会被成倍放大——这叫p-hacking。 这个现象有个著名的实证演示：Simmons、Nelson和Simonsohn2011年发表在Psychological Science的论文False-Positive Psychology，对真实采集的实验数据做了一串完全「合规」的操作，最终让「听披头士的歌When I'm Sixty-Four能让人变年轻」拿到了显著结果——显然是纯噪音。论文由此把「研究者自由度」这个词焊进了学界词典。 我特别喜欢用xkcd第882号漫画当注脚：科学家给20种颜色软糖各测一遍「能否致痘」，19种不显著，只有绿软糖显著，于是「绿色软糖致痘」登上报纸。没人撒谎，但没人把另外19次失败也写进论文里。【延伸分析：这种只报告显著结果的做法叫发表偏倚，是下一节的基础】 ## 四、压垮信任的那篇「预知未来」论文 如果说前面是病理分析，2011年的Bem事件就是导火索。【视频重点案例】康奈尔大学社会心理学家Daryl Bem在心理学顶刊JPSP（Journal of Personality and Social Psychology）发表论文Feeling the Future：9个实验、标准流程、每项都过了p<0.05的合格线，结论耸人听闻——人类拥有预感未来的能力。 这篇论文的杀伤力不在结论多荒谬，而在方法全对。如果一套标准化的主流方法能「证明」ESP存在，那用同一套方法在其他领域证明的东西，凭什么全信？这个逻辑拷问几乎击穿了心理学的方法论自信。后续研究者复盘发现，论文中同样存在样本规模调整和未报告分析路径的痕迹。心理学界由此打响了自我革命的第一枪——这也是为什么复现危机最先在心理学爆发：这个学科主动掀了自己的桌子。【视频叙述+背景延伸】 ## 五、百题大考：36%的及格率 2015年，Open Science Collaboration组织大批研究者在Science杂志发表了复现危机的标志性成果：Estimating the reproducibility of psychological science。他们从2008年三本顶级心理学期刊选了100项实验研究，尽量按原配方重做：原实验找大学生，复现也找大学生；原样本多少，复现就冲多少去。【视频核心内容】 成绩单很残酷：原研究97%拿到了显著结果，复现后只有36%仍然显著；能复现出来的效应，平均强度也只有原来的一半左右。此后十年间，一个个「明星理论」接连翻车——权力姿态、自我损耗（意志力像肌肉会用完）、包括我们之前深读过的学习风格神话，都是这场地震的余波。 这里必须补一个视频之外的边界说明【延伸分析】：复现失败不等于原结论一定是假的，可能是原效应更小、边界条件不同，或者复现本身有缺陷。但它确实把举证责任还给了读者——你不能再因为「它发在顶刊」就默认为真。信任要靠重复验证的次数重新挣回来。 ## 六、三张药方：预注册、注册报告、开放科学 视频没有停在唱衰，后半程全在讲解法。【视频方案】 第一张是**预注册**（preregistration）：实验开跑前，把假设、样本量和分析计划在公开平台存证。相当于先立字据，事后就不能「看数据编故事」——直接掐断HARKing（Hypothesizing After the Results are Known，Kerr在1998年命名的那种「先有结果后补假设」的操作）。 第二张是**注册报告**（Registered Reports）：2013年由Chris Chambers在神经科学期刊Cortex首创。流程反转——先交研究设计接受同行评审，通过即录用，实验做完不管结果显著与否都必须发表。审稿人看不到结果，就不会只偏爱「惊艳」的；期刊不再挑结果，发表偏倚就断了粮。 第三张是**开放科学**：数据、代码、材料全部公开，让任何同行都能核查和复现；再加上多实验室联合验证（如Many Labs项目）和事先做统计功效分析、把样本量做足。Brian Nosek创立的开放科学中心（Center for Open Science）是这场运动的枢纽。 视频结尾的立场我非常认同：科学的可信，从来不是因为科学家不犯错，而是因为这套流程会纠错——前提是我们愿意让纠错变得更容易、更快、更便宜。 ## 知识结构图 ```mermaid flowchart TD A["错误研究怎么出炉"] --> B["研究者自由度"] B --> C["看数据再下结论"] B --> D["事后补写假设"] B --> E["样本可进可出"] C --> F["假阳性泛滥"] D --> F E --> F F --> G["期刊偏爱新惊艳"] G --> H["负结果难发表"] H --> I["文献池被污染"] I --> J["复现大考百题"] J --> K["仅三成六过关"] K --> L["药方一：预注册"] K --> M["药方二：注册报告"] K --> N["药方三：开放数据"] K --> O["药方四：加大样本"] ``` ## 实战启示 这门课的实用价值在于给你一套「读研究」的核查动作，按场景拆开： **读新闻时三连问**：看到「研究表明」「科学家发现」，先问样本多大？预注册了吗？有没有被独立复现过？三问过不了两问的，情绪别跟着走。尤其对那种「一个实验颠覆常识」的爆款研究，正确姿势是等一等——元分析和多实验室验证出来再表态。 **自己做数据分析时**：产品经理的A/B测试、运营的问卷调研、研究生的毕业实验，都适用同一条纪律——先白纸黑字写下假设和主指标，再开跑。跑完之后在十几个二级指标里「找到显著的那个」，和p-hacking没有本质区别。比较的指标越多，越要做多重比较校正。这一条能帮你躲过大多数自欺。 **给通信同行的类比**：这和读厂商白皮书里「某技术使吞吐量提升50%」是一个道理——问测试条件、问负载模型、问有没有第三方复测。Ioannidis的推演对小样本、多口径、强激励的领域一律成立，不分文理。 **认知层面**：把「科学结论」从名词改读成动词。一个结论的可信度不是出厂自带，而是随复现次数增长的贝叶斯过程。惊艳的理论需要惊艳的证据——这句话值得贴在工位上。 ## 延伸学习路径 1. **论文**：Ioannidis《Why Most Published Research Findings Are False》（2005）——复现危机的数学骨架，篇幅不长，值得啃原文 2. **论文**：Open Science Collaboration《Estimating the Reproducibility of Psychological Science》（Science, 2015）——那份36%成绩单的原始出处 3. **论文**：Simmons等《False-Positive Psychology》（2011）——看一遍「合法操作造出荒谬结论」的全过程，胜过十篇综述 4. **漫画**：xkcd第882号「Significant」——两分钟看懂多重比较陷阱，适合转给不做研究的朋友 5. **书**：Stuart Ritchie《Science Fictions》（2020）——复现危机的完整编年史，可作为本视频的长篇版续集 ## 一句话总结 这门课最大的价值，是送你一把叫「复现」的尺子去重新校准对一切「研究表明」的信任——科学值得相信，不是因为它不犯错，而是因为它敢于当众纠错。 ## 参考来源 1. [Is Most Published Research Wrong? — Veritasium](https://www.youtube.com/watch?v=7bsUKlPnZ4E) — 本文分析的核心视频 2. [Why Most Published Research Findings Are False — Ioannidis, PLoS Medicine (2005)](https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124) — 复现危机理论宣言 3. [Estimating the Reproducibility of Psychological Science — Open Science Collaboration, Science (2015)](https://www.science.org/doi/10.1126/science.aac4716) — 百项研究复现大考原始论文 4. [False-Positive Psychology — Simmons, Nelson & Simonsohn, Psychological Science (2011)](https://journals.sagepub.com/doi/10.1177/0956797611417632) — 研究者自由度的实证演示 5. [xkcd #882: Significant](https://xkcd.com/882/) — 绿色软糖漫画 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。