国内技术圈聊"省钱"，几乎全在教你怎么把 API 账单从 100 砍到 5——折扣叠加、语义缓存、Batch 五折、路由层、输出侧省刀，这些确实有效，但它们有个共同前提：你永远在调别人的 API。真正的大账单一刀劈下去，绕不开一个被 90% 人算错的问题：到底烧到多少，才该把卡租下来自己跑开源模型？ 这篇给你一套不靠玄学的算账法，以及把那个"回本临界点"主动往下压的四把刀。算完你会明白，很多人现在自建其实是在亏钱，而另一些人明明该自建了却还在给闭源大厂打工。
先泼盆冷水。租一张 H100 跑 Llama、Qwen、DeepSeek 的开源权重，听起来"-token 成本趋近于零"，但账是这么算的吗？不是。
API 是按量付费——你不用不花钱，流量尖峰它帮你扛。自建是固定成本——GPU 按小时计费，不管你 0 QPS 还是满载，钱都在烧。这两条曲线的交点，才叫"临界点"。决定交点位置的，不是 token 单价，而是利用率（utilization）。
举个最容易被坑的场景：你租了 8×H100 的节点（on-demand 量级约 $25–35/小时，月租轻松破 $1.8 万）跑一个 70B 级模型，结果业务流量是脉冲式的——白天忙 4 小时，剩下 20 小时几乎没请求。你的真实利用率可能只有 15%–20%。这时候你的"单 token 成本"比直接调 Claude Sonnet 档 API 还贵两三倍，因为空转的 GPU 没人替你买单。
所以第一性原理只有一句话：自建省不省钱，等价于"能不能把 GPU 榨干"。 后面四把刀，本质上都是在回答这一个问题。
不要凭感觉，三步算清楚。
第一步：算出你的"等价 API 月账单"。 别看现在用了什么，看"如果全部用等能力闭源 API 跑你现在的负载"要花多少。比如你现在混用 GPT 和国产模型，月花 $800——但你的真实负载（按 token 量）如果全换成 Claude Sonnet 4.6 档（输入约 $3/M、输出约 $15/M 量级，以官方定价页为准）可能要 $4000。这个 $4000 才是"等价 API 成本"，是你自建要 beat 的对手。
第二步：算出目标自建配置的月租。 选定模型大小和并发需求，倒推 GPU。70B FP8 量级通常 8×H100 起步；8B/14B 一两张 H100 就够。月租 = 时租 × 24 × 30 ×（你愿不愿意上 spot）。
第三步：套临界公式。
临界月账单 ≈ (GPU 月租) / (有效利用率)
也就是说，如果你租月 $18000 的 8×H100，利用率只有 20%，那你的"等价 API 账单"得稳定超过 $90000 自建才回本——这在绝大多数中小团队是扯淡。但如果你能把利用率拉到 70%，临界点就降到约 $26000，这个量级很多真实业务就够得着了。
结论先抛出来：行业里反复被验证的经验值是——等价 API 月账单稳定破 $3000–5000 量级、且流量可预测（能保持 50% 以上利用率），自建才开始真正进入"值得评估"的区间。低于这个量级、或流量忽高忽低，老老实实待在 API 侧，配合前面那些折扣/缓存/路由技巧，反而更便宜。很多人就是卡在"算清临界点"这一步，要么过早自建血亏，要么该自建了还在给 API 当冤大头。
把上面的逻辑画成图，照着走一遍：
flowchart TD
A["等价 API 月账单"] --> B{"稳定 > $3000?"}
B -- 否 --> C["留在 API 侧<br/>用国产/小模型路由 + 缓存砍价"]
B -- 是 --> D{"流量可预测? 利用率能 >50%?"}
D -- 否 --> E["先做流量整形<br/>削峰填谷 / 错峰批处理"]
D -- 是 --> F{"必须用前沿闭源模型?"}
F -- 是 --> G["混合架构<br/>前沿走API，长尾走自建"]
F -- 否 --> H["自建开源模型<br/>上四把刀把临界点压低"]
C --> I["最省"]
H --> I
G --> I
style H fill:#d4edda,stroke:#28a745
style C fill:#fff3cd,stroke:#ffc107
这张图的重点在右边那条路：自建不是一个 yes/no 问题，而是"能不能把 GPU 榨干 + 能不能接受开源模型能力"的组合题。
如果你判定该自建了，下面四把刀能让那个回本临界点大幅下移——也就是说，同样月花 $3000，别人不够回本，你够。
这是最立竿见影的一刀。vast.ai、RunPod、Lambda、各云厂的 spot 实例，H100 80GB 的 spot 时租常压到 on-demand 的三到五折（量级约 $1–2/小时 vs $2.5–4/小时）。但 spot 会被抢占，所以它只适合可重试、可断点续传的负载——批量推理、离线评测、数据生成（合成数据），这些正是最适合自建的高吞吐场景。
操作要点：推理引擎要支持请求级重试 + checkpoint 恢复；用价格看板挂一个"低于阈值才拉起"的策略，把 spot 当成"打折时段"用，而不是常驻。
这是 2025–2026 年推理侧最大的白嫖。原理是用一个超小的草稿模型（draft model）先猜若干 token，再用大模型一次性并行校验，猜对的直接采用。vLLM、SGLang 都已原生支持。结果就是：在不损失精度的前提下，把有效吞吐拉高 1.5–3 倍——等价于把 GPU 月租打了三到六折，临界点直接下移。
中国用户常忽略这点：很多人部署 DeepSeek / Qwen 全量模型只用 vanilla 自回归解码，纯纯浪费卡。配上一个同系列的 distilled 草稿模型，同集群吞吐立刻翻番。这一刀几乎零成本，是性价比最高的优化。
vLLM 的 PagedAttention、SGLang 的 RadixAttention（前缀缓存），本质是：多个请求共享的 system prompt、工具定义、长文档前缀，只在显存里算一次，后续命中直接复用 KV cache。 对 RAG、Agent（大量重复工具定义）、客服系统这类"前缀高度重复"的场景，这一刀能把首 token 延迟和算力开销砍掉一大块。
进一步，如果你做的是 to-B 服务——多个租户共用同一套基础模型 + 共享前缀——把请求按前缀做亲和性路由，命中率能从随机打散的 20% 拉到 80%+。命中率上去，单 token 真实成本就下来，临界点又低一截。
FP16 → FP8 → INT8 → INT4，每降一档，显存和算力需求成比例下降。一个 INT8 量化的 70B，能从 8×H100 压到 4×H100 甚至更少；一个 INT4 的 70B 在消费级卡上都能跑。SGLang、vLLM 对 FP8/INT8 量化的支持已经很成熟，精度损失在多数业务场景可接受。
这一刀的逻辑是：不追求绝对峰值精度，而追求"单位美元的可用吞吐"。 当你的业务对 1%–3% 的精度抖动不敏感（绝大多数内部工具、数据标注、初筛场景都满足），量化直接让你从"租 8 张 H100"变成"租 4 张"，月租对半砍，临界点腰斩。
| 维度 | 大多数人以为 | 真正的信息差 |
|---|---|---|
| 自建是否省钱 | 开源模型免费，肯定省 | 取决于利用率；空转 GPU 比闭源 API 还贵 |
| 临界点判断 | "量大就该自建" | 看等价 API 月账单 × 利用率，$3000–5000 是分水岭 |
| 推理引擎 | 部署起来就行 | 推测解码能白嫖 1.5–3 倍吞吐，零成本 |
| GPU 采购 | on-demand 最稳 | spot 砍 50%–70%，配合可重试负载几乎无损 |
| 前缀缓存 | API 自带，自建没有 | 自建要主动做亲和性路由，命中率决定生死 |
| 量化 | 损精度不能用 | FP8/INT8 对内部工具几乎无损，月租腰斩 |
| 架构选择 | 二选一：全 API 或全自建 | 混合架构：前沿走 API、长尾走自建最省 |
记住：省钱不是"用最便宜的模型"，而是"把每一美元的算力用到位"。API 时代省的是 token，自建时代省的是 GPU 小时——而后者，90% 的人根本没算明白。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
cost-hacks。Z.ai 的 web_search / web_reader 双双触发周月限额耗尽（7月18日重置），改用独立 Playwright 引擎确认可联网后，基于 2024–2026 年长期稳定的结构性事实（模型定价层级、GPU 时租量级、推理引擎优化原理、盈亏平衡逻辑）完成撰写，价格一律以"量级 + 官方定价页链接"方式给出，未编造精确到分的不可核实数字。-429 周月限额耗尽拦截，正文未依赖任何单次抓取的精确价格；如读者需最新数字，请以文中官方定价页为准。[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。