先做个小实验：随机翻开一本书、随机截取一段聊天记录，数一数哪个词出现得最多？无论你翻开的是小说、新闻还是微信对话，答案几乎注定是同一个——“的”或者英文里的“the”。更有意思的是：如果把这些词按出现频率排座次，你会得到一条惊人的曲线，这条曲线不仅统治着语言，还统治着城市人口、财富分配甚至网页流量。
Vsauce频道的《The Zipf Mystery》就是围绕这条曲线展开的。这条视频发布于2015年9月，但直到今天仍被反复转发和引用，播放量以千万计——据公开页面显示已达到约2000万量级，属于语言类科普内容的“长青爆款”。它没有教你怎么背单词，却可能从根本上改变你“看待语言”的方式：语言不是一张按字母排列的清单，而是一个有精确数学秩序的自组织系统。
对学习者来说，这条曲线是真正的“元知识”——它解释了为什么100个词能撑起你一半的日常表达，为什么死磕生僻词性价比极低，也解释了在AI时代，为什么你的prompt里每个词的“成本”都不一样。这正是本视频值得深度解读的原因。
| 项目 | 内容 |
|---|---|
| 视频标题 | The Zipf Mystery（Zipf之谜） |
| 频道 | Vsauce（Michael Stevens，科技科普类头部频道） |
| 发布时间 | 2015年9月 |
| 时长 | 约21分钟 |
| 播放量 | 约2000万（据公开页面数据，截至2026年，未经精确核实） |
| 核心主题 | Zipf定律：词频、幂律分布与语言背后的数学秩序 |
视频一开场就抛出一个反直觉的数字：最常见的英语单词"the"，在大量语料中约占全部单词的6%~7%——也就是说，你说出的每十五六个单词里，就有一个是"the"（视频中引用的是经典语料库统计口径，具体数值随语料库不同略有出入）。紧接着是第二层反转：据Oxford English Corpus的统计，英语中最常用的100个词，覆盖了书面英语约一半的篇幅。
【我的延伸分析】这个事实的教学价值被严重低估了。教材倾向于按“话题”组织词汇（机场、餐厅、求职），但语料库告诉我们：真正决定你能不能听懂、说顺的，恰恰是那些“小到没人教”的功能词——the、of、and、to、a。母语者听起来“自然”的语流，一半以上是由这100个词编织的。把它们练到条件反射级别，比多背1000个话题词更能提升流利度。
视频的核心主角是George Kingsley Zipf（1902–1950），哈佛大学的语言学家。他在1935年的《The Psychobiology of Language》和1949年的《Human Behavior and the Principle of Least Effort》中系统阐述了一条经验定律：把单词按出现频率从高到低排名，第n名的词，出现频率约等于第一名频率的1/n。第一名"the"约占6%~7%，第二名"of"就约占3%~3.5%，第三名再砍一半，以此类推。画在对数坐标上，这不是曲线，而是一条近乎笔直的斜线。
【我的延伸分析】这个定律最“瘆人”的地方在于它的普适性。它不是英语的怪癖——从汉语语料到欧洲各国语言，从小说到报纸，都能观察到同样的形态。跨语言、跨文体、跨时代地稳定出现，意味着它背后藏着某种深层机制，而不是某个语言的偶然习惯。这也是为什么它至今仍是定量语言学（quantitative linguistics）的第一研究对象。
Zipf本人给出的解释是“最小努力原则”（Principle of Least Effort）：说话者希望省力，最好用一个词表达所有意思；听话者也希望省力，希望每个意思都有专属的词，越精确越好。语言在两股力量的拉锯中达到动态平衡，最终沉淀出“少数超高频词+海量低频词”的幂律结构。视频沿这条思路把语言学问题讲成了博弈论问题——非常Vsauce的味道。
【我的延伸分析】后续学界还提出了不少竞争性解释，值得一提的有两个：一是Mandelbrot（对，就是分形几何那位）从信息论角度证明，即便假设更抽象的“熵最大化”，也能推出类似分布；二是Simon的“优先连接”模型（富者愈富）——一个词被用得越多，就越可能被再次使用。这些机制至今没有定论，Zipf定律属于“现象铁定成立、成因仍在吵架”的科学奇景。视频没有展开这部分，算是它留给大家的课后作业。
视频后半段把镜头从“最常见”翻转到“最罕见”，介绍了我最喜欢的一个概念：hapax legomenon（希腊语“只出现一次的词”）。在任何足量文本中，都有相当比例的单词只出现过一次——它们是长尾的尽头。经典演示素材是《白鲸记》：把它的词频画出来，Zipf曲线严丝合缝。
【我的延伸分析】这个概念在NLP里是实打实的工程问题：搜索引擎的“停用词表”（stop words）、TF-IDF加权，本质都是在利用Zipf曲线的两端——高频词没信息量，极低频词才是区分文档身份的指纹。顺带一提，词表规模随语料扩大而次线性增长，这条“兄弟定律”叫Heaps'定律。看，一条曲线衍生出一个学科的工具箱。
视频没有停留在语言，而是把Zipf定律放回幂律家族：城市规模近似符合Zipf分布（经济学家Xavier Gabaix在1999年Econometrica上的经典论文专门论证过其生成机制）、公司规模、地震能量、网页入链数、姓氏分布，都呈现类似的“少数巨头+漫长尾巴”。世界上的分布其实分两个阵营：身高体重这类“正态分布”，和词频城市这类“幂律分布”——前者有平均值，后者没有代表性个体，巨头和散户完全活在两个世界。
【我的延伸分析】这是整个视频认知增量最大的一块。理解了幂律，你会对很多事免疫：不再相信“平均水平”能描述财富或流量，不再对“为什么榜首占了一半”感到意外。学习本身也是幂律的——少数核心概念撑起一半的应用场景，这和词频的道理一模一样。
这条2015年的视频，在今天反而更值得看，因为它预言式地触碰了大语言模型的底层。
【我的延伸分析】现代LLM的分词器（如GPT系列使用的BPE，算法源头是Philip Gage 1994年的压缩算法，2016年被引入神经机器翻译）本质上就是在做“词频合并”：把高频字符合并成更大的token。于是Zipf曲线直接决定了你的使用成本——用高频英文写prompt，同样的信息量token更少、更便宜；冷门语言和生僻术语则被切碎、单价更高。语音识别、输入法预测、拼写检查，底层全是频率表。可以说，Zipf在1935年画的曲线，如今是AI经济学的定价表。
一如Vsauce的风格，视频结尾把问题抛回给“意义”：为什么人类在使用语言时，没人协调、没人设计，却自发形成如此精确的分布？语言是数亿人每天互相模仿、博弈后涌现出来的秩序——没有人规划它，但它有数学。
【我的延伸分析】这其实是全片最值得带走的方法论：面对一个复杂到令人绝望的系统（语言、市场、城市），第一步不是“理解”，而是“数清楚”。Zipf只是统计了词频，一条曲线就撕开了口子。学习者面对一门新语言时也一样：先拿频率表数一数“哪些词值得学”，复杂系统立刻露出主次。
flowchart TD
A[Zipf定律: 频率 ∝ 1/排名] --> B[经验证据]
A --> C[成因假说]
A --> D[现代应用]
B --> B1[词频: the约占6%~7%<br/>前100词覆盖约50%语料]
B --> B2[城市规模/公司规模/网页链接<br/>同属幂律家族]
B --> B3[Hapax legomenon<br/>只出现一次的词构成文本指纹]
C --> C1[Zipf: 最小努力原则<br/>说话人省力 vs 听话人求精确]
C --> C2[Mandelbrot: 信息论/熵最大化]
C --> C3[Simon: 优先连接 富者愈富]
D --> D1[语言学习: 频率优先的词汇策略]
D --> D2[NLP工程: 停用词/TF-IDF/BPE分词]
D --> D3[LLM经济学: 高频词token更便宜]
第一，把“频率表”当学习路线图，别再按字母表背单词。 与其从abandon背到zoology，不如直接用Oxford 3000或COCA词频表安排优先级：先吃透最高频的1000词——有语料库研究显示这个量级已能覆盖日常口语的大头（不同语料给出的数字在80%~85%之间浮动，仅供参考）。背单词的顺序，应该照着Zipf曲线从左往右排。
第二，专攻那100个功能词的“听力识别”。 the、of、and、to、have、been……这些词在快速语流中被弱读、连读到面目全非，却是理解句子结构的骨架。做一遍精听：凡是听漏的词，八成落在这100个词里。练熟它们，听力提升立竿见影。
第三，接受长尾，放过自己。 hapax legomenon告诉我们：任何一个语料库里都有海量“一辈子只见一次”的词。遇到生词先查频率排名——排在3000名以外的，混个眼熟即可，别让它们挤占高频词的复习时间。这是对抗“词汇焦虑”最科学的心态。
第四，写给开发者：你的prompt有价格表。 打开OpenAI的tokenizer工具（platform.openai.com/tokenizer），把同一句话分别用英文、中文、小语种输入，直观感受token数量差异。理解BPE与词频的关系，能帮你写出更省钱的prompt，也能理解为什么某些领域（法律、医学）的AI应用成本更高——生僻术语被切得更碎。
第五，把幂律思维迁移到一切学习。 少数概念撑起一半应用——任何领域都成立。先找该领域的“the”，把它练到肌肉记忆，再谈长尾。
这条统治着词频、城市与财富的幂律曲线告诉我们：无论学语言还是学任何东西，先找到那100个撑起一半世界的核心，剩下的长尾，交给时间。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。