首页 › language › Zipf神课深读:词频里的一条铁律

Zipf神课深读:词频里的一条铁律

一条所有语言共守的「贫富曲线」

你有没有想过一个问题:英语里用得最多的词是哪个?它一个人占了多大份额?答案不是什么华丽的修辞大词,而是一个小到不能再小的词——the。牛津英语语料库的统计显示,它一个人干了约6%的活;而排名前100的词加起来,差不多顶起一半的英文文本。更怪的是,这不是英语的怪癖:把中文、日文、西班牙文的语料拉出来排个序,全都长成同一条曲线。词的「贫富差距」,全人类整整齐齐。

为什么?是语言的巧合,还是人类偷懒的总账?科普频道 Vsauce 用约21分钟拍了一集 The Zipf Mystery,把这个上世纪三十年代就被画出来的老问题,讲成了千万级播放的悬案。这期视频好看在哪?它不止告诉你「存在这么条定律」,而是把三种解释挨个摆上台面——包括一种让人后背发凉的「也许一切只是随机」的可能。今天我们把它拆开,再补上视频没来得及展开的功课:这条曲线,对一个正在学外语的人,到底意味着什么。

视频背景卡片

项目 内容
视频标题 The Zipf Mystery(Zipf之谜)
频道 Vsauce(Michael Stevens,两千万订阅级科普频道)
时长 约21分钟
播放量 千万级(频道播放量最高的视频之一)
发布时间 2015年
核心主题 Zipf定律:为什么所有语言的词频分布长成同一条曲线

注:播放量与发布时间为该视频长期被引用的公开量级,未做实时核验,以频道页面为准。

核心内容拆解

一、先看现象:词的排名就是它的命

(视频内容)把一部小说、一批新闻、甚至一份聊天记录里的词按出现次数排队:第1名出现约6%,第2名大约3%,第10名就只剩零点几……频率和排名几乎成反比。这就是 Zipf 定律:第r名的词,出现频率大约是第1名的1/r。画在普通坐标上是一条急坠的曲线;画在双对数(log-log)坐标上,惊人地近似一条直线。

(延伸分析)这条线的「怪」在于它的中庸。如果语言被少数词垄断,曲线会崩成悬崖;如果词词平等,它会平成一片草地。真实语言是「富者愈富,但没有赢家通吃」的中间形态——一头是干活最多的功能词(the、of、的、了),一头是海量一生只用几次的长尾词。这种形状太普遍了,普遍到让语言学家不安:它到底暗示语言有共同的生成机制,还是暗示我们看到的只是统计的影子?

二、画线的人:一位研究「懒」的语言学家

(延伸补充视频背景)George Kingsley Zipf(1902–1950),哈佛大学的语言学家,一生痴迷于人类行为里藏着的统计规律。他在1935年的《The Psycho-Biology of Language》里先画出了这条线,1949年又在《Human Behavior and the Principle of Least Effort》里给出毕生的答案——最小努力原则。后来数学家 Mandelbrot 把公式修得更贴合真实语料。视频对这段学术史讲得很克制,但把 least effort 这个关键词钉在了整期片的正中央。

三、解释一:说话这件事,嘴天生想偷懒

(视频内容)Zipf 的核心直觉是:语言是两股相反力量谈判的结果。说话人想省力——音越少越好,于是高频词被一代代嘴磨得越来越短(想想英语里的 I'll、gonna,中文里的「啥」「咋」);听话人也想省力——要听得清、分得开,于是又需要大量低频长词来承载精确含义。两股力掰手腕,掰出来的平衡点,恰好就是那条「频率∝1/排名」的曲线。短词高频、长词低频,不是巧合,是嘴的经济账。

(延伸分析)这个解释最迷人的地方在于它把语言当成被「使用」塑造的活物:词频不是谁设计出来的,是千万代人嘴里自然磨出来的——有点像河水冲出河道。它还顺手解释了为什么缩写和简称总是先在高频场景里诞生:行业黑话、网络缩写、corpus 里的 n't,全是省力的复利。

四、解释二:富者愈富的马太效应

(视频内容)另一种思路不看嘴,看网络:一个词被用得越多,就越容易被更多人学到、记住、再拿去用——使用带来曝光,曝光又带来使用。这个「富者愈富」的机制,社会学家 Merton 管它叫马太效应,网络科学后来给它起了名字 preferential attachment(偏好连接),并证明这种增长方式天然长出幂律分布。

(延伸分析)注意其中的微妙差别:最小努力解释的是词形(为什么高频词短),马太效应解释的是分布(为什么差距这么大)。两者并不互斥,更像一个管形状、一个管洗牌速度。视频把两种解释并列摆出、不强行给结论,本身就是一种诚实的科学态度——这条曲线至今没有一锤定音的答案。

五、解释三:也许一切只是随机的影子

(视频内容)这是全片最「泼冷水」也最精彩的部分:有人做过模拟,让程序完全随机地敲键盘——字母等概率,空格键概率调高一点充当分词——把敲出来的「词」按频率排序,居然也大致长出一条 Zipf 曲线。也就是说,哪怕毫无意义,纯组合数学也能画出这条线。

(延伸分析)这记冷水泼出了一个关键区分:服从同一条分布,不等于拥有同一种机制。语言学家当然不服——1957年 Chomsky 造出那个著名的句子「Colorless green ideas sleep furiously(无色的绿色想法狂怒地睡着)」:语法完全正确,语义彻底荒谬,出现概率几乎为零,但没有一个母语者认不出它「像句英语」。概率能画出曲线,画不出语法;统计是理解语言的必要条件,不是充分条件。这也是我看这期视频最想敲黑板的地方:别把「看起来像」当成「所以就是」。

六、离开语言,曲线还在

(视频内容)Zipf 曲线不只活在词频里:城市人口排名、公司规模、收入分配、网站流量,甚至地震的能量分布(地震学里的 Gutenberg–Richter 定律),全都近似「第r名≈1/r」的样子。

(延伸分析)跨领域的普适性反而是条线索:如果城市和单词共享同一条曲线,那它更可能是某种通用的「增长-约束」机制——复利、马太效应加上天花板——而不是语言独有的玄机。反过来说,语言之所以值得单独研究,恰恰因为它是这条普适曲线上被意义约束的特殊样本:乱码能长出尾巴,长不出意思。

七、一个学外语的人,该从这条曲线里拿走什么

(延伸分析,本节全部为视频之外的延伸)三条硬结论。第一,高频段的性价比是数学保证的。语言学家 Paul Nation 的经典估算:最常见的两千词族大约覆盖日常文本的八成上下;而想把覆盖率推到98%,需要八九千词族。先吃透高频两千,不是经验主义,是曲线替你算好的账。第二,马太效应同样在词汇学习里滚雪球。你越熟的词,在输入里越容易被「顺便」再习得;从不进你视野的词,永远不会启动复利。词汇量的分化是指数型的——不是勤奋差距,是循环方向相反。第三,长尾词别硬啃。低频词复现率太低,拿词表硬背等于对抗统计;正确姿势是让「赛道」替你选——你的行业、爱好、生活场景,才是属于你的那截长尾。

知识结构图

flowchart TD
    A["一张词频表<br/>the一个人干约6%的活"] --> B["Zipf定律<br/>词频与排名成反比"]
    B --> C["log-log坐标<br/>万语同一条直线"]
    C --> D{"三种解释之争"}
    D -->|省力| E["最小努力原则<br/>说者省音,听者辨义"]
    D -->|复利| F["富者愈富<br/>常用词越用越常用"]
    D -->|冷水| G["随机敲键<br/>乱码也长这条尾巴"]
    E --> H["短词高频<br/>嘴的经济账"]
    F --> I["马太效应<br/>学习里也在滚雪球"]
    G --> J["统计是影子<br/>必要而不充分"]
    J --> K["概率造不出语法<br/>无色的绿色想法睡不着"]
    B --> L["跨领域同款<br/>城市、收入、地震"]
    H --> M["先吃高频两千词"]
    I --> M
    L --> N["长尾按赛道定制<br/>别从A背到Z"]

实战启示

看完这期视频,我建议你做四件事。第一,给目标语言找一张「频率地图」。Routledge 出版社出过一整套 A Frequency Dictionary 词典(西班牙语、日语、韩语、中文等都有分册),按语料库排名给你五千个词并配例句:前两千做主动词汇,能认更能用;两千到五千做被动词汇,见了认识就行。第二,让输入材料替 Zipf 打工。选对话密度高的内容(播客访谈、生活剧),高频词复现率天然高,不需要刻意复习也能「顺便」滚雪球——这是把马太效应变成自己的发动机,而不是别人家的。第三,长尾按赛道定制。把你行业和生活里的专属词单独建表,用 Anki 这类工具针对地啃,别拿整本词典从A到Z硬背——那是对着曲线的尾巴做无氧运动。第四,警惕曲线的安慰剂。覆盖率不等于掌握:高频两千让你「能开口」,但聊得深、聊得准,拼的恰恰是长尾和精确度。Zipf 负责让你入场,不负责让你赢。

延伸学习路径

  1. 《Human Behavior and the Principle of Least Effort》(George K. Zipf, 1949)——定律原典,「最省力」宇宙观的源头。
  2. 《Learning Vocabulary in Another Language》(Paul Nation, Cambridge University Press)——词汇量与覆盖率关系的权威著作,本文第七节的依据。
  3. Routledge《A Frequency Dictionary》系列——按词频排序、配真实例句的目标语言词表,直接可用的「频率地图」。
  4. Vsauce 频道其他「统计与直觉」选题——同一种「用数学戳破直觉」的观看体验。

一句话总结

语言里没有平等的词——Zipf定律是全人类嘴巴的复利账本,看懂它,你就知道该把力气花在哪两千个词上。

参考来源

  1. The Zipf Mystery — Vsauce — 本文分析的核心视频
  2. Zipf's law — Wikipedia — 定律的数学形式与跨领域案例
  3. George Kingsley Zipf — Wikipedia — Zipf生平与著作
  4. Principle of least effort — Wikipedia — 最小努力原则的学术脉络

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入