你有没有想过一个问题:英语里用得最多的词是哪个?它一个人占了多大份额?答案不是什么华丽的修辞大词,而是一个小到不能再小的词——the。牛津英语语料库的统计显示,它一个人干了约6%的活;而排名前100的词加起来,差不多顶起一半的英文文本。更怪的是,这不是英语的怪癖:把中文、日文、西班牙文的语料拉出来排个序,全都长成同一条曲线。词的「贫富差距」,全人类整整齐齐。
为什么?是语言的巧合,还是人类偷懒的总账?科普频道 Vsauce 用约21分钟拍了一集 The Zipf Mystery,把这个上世纪三十年代就被画出来的老问题,讲成了千万级播放的悬案。这期视频好看在哪?它不止告诉你「存在这么条定律」,而是把三种解释挨个摆上台面——包括一种让人后背发凉的「也许一切只是随机」的可能。今天我们把它拆开,再补上视频没来得及展开的功课:这条曲线,对一个正在学外语的人,到底意味着什么。
| 项目 | 内容 |
|---|---|
| 视频标题 | The Zipf Mystery(Zipf之谜) |
| 频道 | Vsauce(Michael Stevens,两千万订阅级科普频道) |
| 时长 | 约21分钟 |
| 播放量 | 千万级(频道播放量最高的视频之一) |
| 发布时间 | 2015年 |
| 核心主题 | Zipf定律:为什么所有语言的词频分布长成同一条曲线 |
注:播放量与发布时间为该视频长期被引用的公开量级,未做实时核验,以频道页面为准。
(视频内容)把一部小说、一批新闻、甚至一份聊天记录里的词按出现次数排队:第1名出现约6%,第2名大约3%,第10名就只剩零点几……频率和排名几乎成反比。这就是 Zipf 定律:第r名的词,出现频率大约是第1名的1/r。画在普通坐标上是一条急坠的曲线;画在双对数(log-log)坐标上,惊人地近似一条直线。
(延伸分析)这条线的「怪」在于它的中庸。如果语言被少数词垄断,曲线会崩成悬崖;如果词词平等,它会平成一片草地。真实语言是「富者愈富,但没有赢家通吃」的中间形态——一头是干活最多的功能词(the、of、的、了),一头是海量一生只用几次的长尾词。这种形状太普遍了,普遍到让语言学家不安:它到底暗示语言有共同的生成机制,还是暗示我们看到的只是统计的影子?
(延伸补充视频背景)George Kingsley Zipf(1902–1950),哈佛大学的语言学家,一生痴迷于人类行为里藏着的统计规律。他在1935年的《The Psycho-Biology of Language》里先画出了这条线,1949年又在《Human Behavior and the Principle of Least Effort》里给出毕生的答案——最小努力原则。后来数学家 Mandelbrot 把公式修得更贴合真实语料。视频对这段学术史讲得很克制,但把 least effort 这个关键词钉在了整期片的正中央。
(视频内容)Zipf 的核心直觉是:语言是两股相反力量谈判的结果。说话人想省力——音越少越好,于是高频词被一代代嘴磨得越来越短(想想英语里的 I'll、gonna,中文里的「啥」「咋」);听话人也想省力——要听得清、分得开,于是又需要大量低频长词来承载精确含义。两股力掰手腕,掰出来的平衡点,恰好就是那条「频率∝1/排名」的曲线。短词高频、长词低频,不是巧合,是嘴的经济账。
(延伸分析)这个解释最迷人的地方在于它把语言当成被「使用」塑造的活物:词频不是谁设计出来的,是千万代人嘴里自然磨出来的——有点像河水冲出河道。它还顺手解释了为什么缩写和简称总是先在高频场景里诞生:行业黑话、网络缩写、corpus 里的 n't,全是省力的复利。
(视频内容)另一种思路不看嘴,看网络:一个词被用得越多,就越容易被更多人学到、记住、再拿去用——使用带来曝光,曝光又带来使用。这个「富者愈富」的机制,社会学家 Merton 管它叫马太效应,网络科学后来给它起了名字 preferential attachment(偏好连接),并证明这种增长方式天然长出幂律分布。
(延伸分析)注意其中的微妙差别:最小努力解释的是词形(为什么高频词短),马太效应解释的是分布(为什么差距这么大)。两者并不互斥,更像一个管形状、一个管洗牌速度。视频把两种解释并列摆出、不强行给结论,本身就是一种诚实的科学态度——这条曲线至今没有一锤定音的答案。
(视频内容)这是全片最「泼冷水」也最精彩的部分:有人做过模拟,让程序完全随机地敲键盘——字母等概率,空格键概率调高一点充当分词——把敲出来的「词」按频率排序,居然也大致长出一条 Zipf 曲线。也就是说,哪怕毫无意义,纯组合数学也能画出这条线。
(延伸分析)这记冷水泼出了一个关键区分:服从同一条分布,不等于拥有同一种机制。语言学家当然不服——1957年 Chomsky 造出那个著名的句子「Colorless green ideas sleep furiously(无色的绿色想法狂怒地睡着)」:语法完全正确,语义彻底荒谬,出现概率几乎为零,但没有一个母语者认不出它「像句英语」。概率能画出曲线,画不出语法;统计是理解语言的必要条件,不是充分条件。这也是我看这期视频最想敲黑板的地方:别把「看起来像」当成「所以就是」。
(视频内容)Zipf 曲线不只活在词频里:城市人口排名、公司规模、收入分配、网站流量,甚至地震的能量分布(地震学里的 Gutenberg–Richter 定律),全都近似「第r名≈1/r」的样子。
(延伸分析)跨领域的普适性反而是条线索:如果城市和单词共享同一条曲线,那它更可能是某种通用的「增长-约束」机制——复利、马太效应加上天花板——而不是语言独有的玄机。反过来说,语言之所以值得单独研究,恰恰因为它是这条普适曲线上被意义约束的特殊样本:乱码能长出尾巴,长不出意思。
(延伸分析,本节全部为视频之外的延伸)三条硬结论。第一,高频段的性价比是数学保证的。语言学家 Paul Nation 的经典估算:最常见的两千词族大约覆盖日常文本的八成上下;而想把覆盖率推到98%,需要八九千词族。先吃透高频两千,不是经验主义,是曲线替你算好的账。第二,马太效应同样在词汇学习里滚雪球。你越熟的词,在输入里越容易被「顺便」再习得;从不进你视野的词,永远不会启动复利。词汇量的分化是指数型的——不是勤奋差距,是循环方向相反。第三,长尾词别硬啃。低频词复现率太低,拿词表硬背等于对抗统计;正确姿势是让「赛道」替你选——你的行业、爱好、生活场景,才是属于你的那截长尾。
flowchart TD
A["一张词频表<br/>the一个人干约6%的活"] --> B["Zipf定律<br/>词频与排名成反比"]
B --> C["log-log坐标<br/>万语同一条直线"]
C --> D{"三种解释之争"}
D -->|省力| E["最小努力原则<br/>说者省音,听者辨义"]
D -->|复利| F["富者愈富<br/>常用词越用越常用"]
D -->|冷水| G["随机敲键<br/>乱码也长这条尾巴"]
E --> H["短词高频<br/>嘴的经济账"]
F --> I["马太效应<br/>学习里也在滚雪球"]
G --> J["统计是影子<br/>必要而不充分"]
J --> K["概率造不出语法<br/>无色的绿色想法睡不着"]
B --> L["跨领域同款<br/>城市、收入、地震"]
H --> M["先吃高频两千词"]
I --> M
L --> N["长尾按赛道定制<br/>别从A背到Z"]
看完这期视频,我建议你做四件事。第一,给目标语言找一张「频率地图」。Routledge 出版社出过一整套 A Frequency Dictionary 词典(西班牙语、日语、韩语、中文等都有分册),按语料库排名给你五千个词并配例句:前两千做主动词汇,能认更能用;两千到五千做被动词汇,见了认识就行。第二,让输入材料替 Zipf 打工。选对话密度高的内容(播客访谈、生活剧),高频词复现率天然高,不需要刻意复习也能「顺便」滚雪球——这是把马太效应变成自己的发动机,而不是别人家的。第三,长尾按赛道定制。把你行业和生活里的专属词单独建表,用 Anki 这类工具针对地啃,别拿整本词典从A到Z硬背——那是对着曲线的尾巴做无氧运动。第四,警惕曲线的安慰剂。覆盖率不等于掌握:高频两千让你「能开口」,但聊得深、聊得准,拼的恰恰是长尾和精确度。Zipf 负责让你入场,不负责让你赢。
语言里没有平等的词——Zipf定律是全人类嘴巴的复利账本,看懂它,你就知道该把力气花在哪两千个词上。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
