你以为同一段话,中文和英文付的钱差不多?错。极客公园 2026 年 5 月做了一次硬核实测:同一份商业新闻,喂给 Claude,中文版比英文版多烧 64% 的 token,等于多付 64% 的钱。这不是 bug,是 tokenizer 内置的结构性"语言税"。国内一堆人在卷 prompt、卷模型,却没人告诉你:你输入框里敲的每一个汉字,都比英文用户多交一份税。今天这篇,我给你把这笔账算到底,再递你三把砍税的刀。
极客公园用了 22 段平行文本(商业新闻、技术文档、古文、日常对话),同时塞进 5 个 tokenizer:Claude 4.6 和 4.7、GPT-4o、Qwen 3.6、DeepSeek-V3,读出每个模型的 token 数做横向对比。结论非常刺眼:
Claude 这边,中文一直比英文贵。 Opus 4.7 之前的全系列(Opus 4.6、Sonnet、Haiku)共用同一个 tokenizer,在这个词表下,中文 token 消耗全线高于英文,cn/en 比值落在 1.11× 到 1.64× 之间。最极端的就是 NYT 风格商业新闻——中文多花 64%。
GPT-4o 稍微好点,但也贵。 它的 o200k 词表把中文效率往前提了一档,cn/en 比值多数在 1.0 到 1.35×,部分场景能低于 1,但整体还是偏贵。
国产模型直接反过来——中文比英文还便宜。 Qwen 3.6 和 DeepSeek-V3 的 cn/en 比值大面积低于 1。DeepSeek 最低做到 0.65×,同一段话中文版比英文版便宜三分之一。这意味着用 DeepSeek 处理中文资料,你反而比英文用户省钱。
把这笔账换成钱会更直观。同样跑 100 万 token 的中文内容(按 Claude Opus 官方价 $5/M 输入算):
| 你用的模型 | cn/en 倍率 | 中文实际多花的 token | 每 100 万输入多花的钱 |
|---|---|---|---|
| Claude Opus 4.6 | 1.64×(最坏) | 多 64% | 多花 $3.20 |
| Claude Opus 4.6 | 1.11×(最好) | 多 11% | 多花 $0.55 |
| GPT-4o | 1.35× | 多 35% | 多花 $0.88(按$2.5/M) |
| DeepSeek-V3 | 0.65× | 少 35% | 省 $1.75 |
一句话:同一段中文,你用 Claude Opus 比用 DeepSeek,光 tokenizer 这一项就贵了 1.5 倍以上。
模型在"读"你的文字之前,会先用 tokenizer 把输入切成一个个 token。你可以把它理解成 AI 的"积木切割机"——你输入一句话,它拆成一块块标准化积木,AI 只认积木编号,用多少块积木就付多少钱。
英文的切法很符合直觉:"intelligence" 大概率是一个 token,"information" 也是一个 token,一个单词对应一个计费单位。
中文到这一步就崩了。同一句"人工智能正在重塑全球的信息基础设施",送进 GPT-4 的 cl100k tokenizer 和 Qwen 2.5 的 tokenizer,切法天差地别:
同样是 16 个汉字的一句话:GPT-4 切出 19 个 token,Qwen 只切 6 个。差距 3 倍。
罪魁祸首是 BPE(Byte Pair Encoding)算法。它的工作方式是统计训练语料里哪些字符组合出现频率最高,然后把高频组合合并成一个 token 塞进词表。问题来了——GPT-2 时代的训练语料绝大多数是英文,英文字母组合(th、ing、tion)反复出现,很快被合并成 token;中文字符在那个语料池里频率太低,排不进词表,只能当原始字节处理。
Claude 和早期 GPT 的词表是以英文为默认值构建的,中文是后来被"塞进去"的;Qwen 和 DeepSeek 从设计之初就把中文当默认语言。这个起点的差异,一路传导到 token 数、账单、上下文窗口大小。
这里有个 2026 年 4 月的真实反转,值得单独说。
Opus 4.7 刚发布那几天,X(原推特)上怨声载道。有人一次对话就把 session 额度用光,有人说同一段代码跑完成本比上周翻倍,有人晒 200 美元 Max 订阅不到两小时就触顶。独立开发者 BridgeMind 承认 Claude 是世界上最好的模型,但同时也是最贵的——他买了两份 Max 才够用。
诡异的是:Anthropic 官方价格一分没变,还是 $5/M 输入、$25/M 输出。真相是——这个版本引入了新 tokenizer,同时 Claude Code 把默认 effort 从 high 提到了 xhigh,同一份工作消耗的 token 变成了以前的 2 到 2.7 倍。
但中文用户几乎没感受到震荡。实测显示:Opus 4.7 的通胀几乎只发生在英文上,英文 token 膨胀 1.24× 到 1.63×,中文大量维持在 1.000×,纹丝不动。原因很无奈——中文在旧版上已经被切到了单字颗粒度,可拆分的空间极小,涨无可涨。
这是个黑色幽默:Claude 把英文用户割了一刀,结果英文用户叫苦连天,中文用户因为早就被割到骨头了,反而没感觉。
token 差异不只是账单问题,它直接决定你能塞给模型多少料。
同样 200k 上下文窗口,用旧版 Claude tokenizer 装中文资料,能塞进去的内容量比英文少 40% 到 70%。
这意味着什么?同样让 AI 分析长文档、总结一组会议记录,中文用户能喂给模型的材料更少,模型能参考的上下文更短。你付了更多的钱(每个 token 更贵),得到的却是更小的工作空间(能装的 token 更少)。这是双重征税——单价税 + 容量税。
对做 RAG、长文档分析、知识库问答的人来说,这一条比账单更致命。你以为窗口是 200k,中文实际有效容量可能只有 60k-120k 的英文等价信息量。
知道了税从哪来,破解就清晰了。给你三把刀,按 ROI 从高到低排:
flowchart LR
A[中文 token 输入] --> B{要不要实时响应?}
B -- 是 --> C[刀二: 提示词缓存<br/>cache read 0.1x<br/>砍90%重复税]
B -- 否 --> D[刀三: Batch API<br/>50%异步折扣<br/>24h拿结果]
A --> E[刀一: 换 tokenizer<br/>DeepSeek/Qwen/GLM<br/>中文反而便宜35%]
C --> F[最终账单]
D --> F
E --> F
style E fill:#d4edda
style C fill:#cce5ff
style D fill:#fff3cd
这是最直接的一刀。既然 DeepSeek/Qwen/GLM 的词表对中文原生友好,cn/en 比值低于 1,非英文场景下没有理由死守 Claude/GPT。
实操:把你的长 system prompt、文档库,先用 tokenizer 工具(OpenAI 官方有 https://platform.openai.com/tokenizer,可在线测中英文 token 数对比)量一下,再决定路由。很多任务切换到国产模型后,能力够用,账单砍半。
如果你的 prompt 里有大量重复的固定内容(长 system prompt、文档、few-shot 示例),而且你又是中文用户——中文 token 多,意味着缓存命中的价值更大。这把刀对中文用户是天生加成。
实测建议:把你的 system prompt、知识库文档、few-shot 示例这些固定部分,集中放在 prompt 开头,标记为可缓存块。中文用户因为这部分 token 基数大,缓存命中率一旦高,省的钱是英文用户的好几倍。
OpenAI 和 Anthropic 都有 Batch API,input 和 output 一律 50% 折扣,约束是异步——请求进队列,24 小时内出结果。2026 最新定价我直接抄给你:
| 模型 | 标准输入 | Batch 输入 | 标准输出 | Batch 输出 |
|---|---|---|---|---|
| GPT-4o | $2.50/M | $1.25/M | $10.00/M | $5.00/M |
| GPT-4o mini | $0.15/M | $0.075/M | $0.60/M | $0.30/M |
| Claude Sonnet 4.6 | $3.00/M | $1.50/M | $15.00/M | $7.50/M |
| Claude Haiku 4.5 | $0.80/M | $0.40/M | $4.00/M | $2.00/M |
适合谁跑 Batch?一切没有人盯着等结果的任务:内容审核、SEO 元数据生成、嵌入(embedding)生成、夜间报告汇总、数据清洗/实体抽取、训练数据生成、产品描述批量写、情感分析、文档分类。
一个典型产品大约 70% 的 token 量是非交互工作负载,意味着 70% 的用量能拿 50% 折扣——整体混合费率降 35%。如果你每月花 $10,000 在 LLM API 上,70% 可批处理,那就是每月省 $3,500,而工程量不过一两天。
Anthropic 单批最多 10,000 个请求,结果保留 29 天;OpenAI 提交 JSONL 文件、24h 窗口。
三把刀可以叠加:用国产 tokenizer(刀一)做中文重活 + 提示词缓存(刀二)吃重复 prompt + Batch API(刀三)跑离线任务。一套组合拳下来,中文内容处理的成本能从 Claude Opus 的水平,压到原来的 1/3 甚至更低。
| 维度 | 大多数人以为 | 真实情况(信息差) |
|---|---|---|
| 中文 token 成本 | 和英文差不多 | Claude 中文贵 11%-64%,GPT 贵 35% |
| 国产模型优势 | 便宜但能力差 | tokenizer 对中文原生优化,同内容反而省 35% |
| Claude 4.7 涨价 | 所有人一起涨 | 英文涨 2-2.7 倍,中文纹丝不动(早被割到底) |
| 上下文窗口 | 200k 就是 200k | 中文实际有效容量比英文少 40%-70% |
| Batch API | 没听说过 / 用不上 | input+output 全打五折,70% 工作负载可用 |
| Prompt Caching | 省不了多少 | Claude 缓存读打一折,中文用户因 token 多收益更大 |
测一把你的语言税。打开 https://platform.openai.com/tokenizer,把你最常用的 system prompt 和典型中文输入贴进去,看 token 数。再用 DeepSeek 的 tokenizer 量一遍。差距就是你能省的钱。
审计你的工作负载分类。把所有 LLM 调用列出来,标"实时 / 非实时"。凡是人不用 5 秒内等结果的(夜间任务、数据清洗、批量生成),全切到 Batch API,立刻拿 50% 折扣。
重排 prompt 结构上缓存。把固定的 system prompt、文档、few-shot 示例集中到 prompt 前部,启用 Claude/GPT 的 prompt caching。中文长 prompt 的缓存收益,值得专门做一次工程。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
