首页 › cost-hacks › RAG省钱别盯大模型:换把embedding砍九成账

RAG 省钱别盯大模型:换把 embedding 砍掉九成账

做 AI 应用的同学聊到「省钱」,第一反应永远是「换小模型」「上国产模型」「砍 reasoning」。这没错,但有个被 90% 的人忽略的死角:embedding。它单看每百万 token 才几美分,看似人畜无害,实际却是 RAG 账单里最阴险的一把刀——选错模型贵 6.5 倍、向量维度撑爆存储贵 2 倍、换一次模型全量重来再贵一遍。三刀叠加,你的 RAG 月账单能从 30 美元悄无声息爬到 300 美元,而你还在那儿苦哈哈地纠结「要不要把 GPT-4o 换成 GLM」。

这一篇的信息差很简单:RAG 里真正能砍、且最好砍的,不是回答用的大模型,而是建索引用的 embedding 这把刀。 换一把刀,账单直接掉九成,中文检索质量还不掉。

一、为什么 embedding 是被低估的「暗账」

RAG 的成本结构长这样:建库时一次性把文档变成向量(embedding 调用费)+ 存向量(向量库存储费)+ 每次提问时检索(向量库检索费)+ 把召回内容喂给大模型回答(大模型调用费)。前三项都跟 embedding 直接挂钩,最后一项才是大家盯着的大模型。

问题在于,绝大多数教程和框架默认给你塞最贵的 embedding。LangChain 的老示例常默认 text-embedding-ada-002,OpenAI Playground 的新手会随手点 text-embedding-3-large。你以为「用 OpenAI 全家桶省心」,其实从你点下 large 的那一刻,三笔暗账就开始滚了。

暗账之一:调用费直接贵 6.5 倍

看 OpenAI 官方 embedding 定价(以官网为准,量级长期稳定):

模型 价格(美元/百万 token) 默认维度 MTEB 英文大致水平
text-embedding-3-small $0.02 1536 强,与 large 接近
text-embedding-3-large $0.13 3072 略高,差距小
text-embedding-ada-002(旧) $0.10 1536 已被 3 系列反超

3-large 是 3-small 的 6.5 倍价,但 MTEB 榜单上两者在很多任务里差距只有 1 分上下——对小到中等规模、尤其中文为主的业务,这点差距肉眼根本感觉不到。这一刀砍下去就是 85%。

暗账之二:维度撑爆向量库存储与检索

3-large 默认 3072 维,是 3-small(1536 维)的整整 2 倍。向量库的存储成本、HNSW 索引内存占用、每次检索的距离计算量,都跟维度线性甚至超线性挂钩。同一批文档,用 3072 维建的库,存储和内存是 1536 维的两倍以上,Pinecone、Qdrant 的按量计费直接翻番。

更狠的是:很多人不知道 3-large 支持降维——你可以在 API 里加 dimensions: 1024 把输出压到 1024 维,质量几乎不掉,存储立刻砍到三分之一。这个参数,框架默认不开。

暗账之三:换模型 = 全量重 embed 一次

embedding 模型一旦换了,向量空间不兼容,整库必须重新算一遍。这意味着:如果你用 3072 维的 3-large 把 1 亿 token 的文档库建好,半年后想省钱换 3-small,得先花一笔 $13(1 亿 × $0.13/百万)把老库重算一遍,再花 $2 建新库。一次失误,重算费是新库费的 6 倍。选对第一把刀,比事后优化重要十倍。

二、开源这把刀:中文 RAG 直接白嫖

如果数据量再上一个台阶,商用 API 再便宜也是持续出血。这时候该上开源 embedding 模型了——质量已经追平甚至超过商用,成本趋近于零。

最值得中国开发者记住的名字是 BAAI 的 BGE-M3:

部署门槛极低:Ollama 一行 ollama pull bge-m3 就能跑,或者用 HuggingFace TEI(Text Embeddings Inference)做高吞吐服务。一台带张量核的二手 GPU(甚至 CPU 小规模也能跑),电费分摊到每百万 token 几乎可忽略。

中文 RAG 还可以看 阿里 GTE 系列、智源 BGE-large-zh、Jina embeddings v3(有免费层)。这些都在 MTEB 中文榜上压着不少商用模型打。

一句话信息差:你的中文知识库,用本地 BGE-M3 建索引,质量不掉,embedding 费用从「持续付费」变成「一次电费」。

三、向量库也是暗账大户:别拿 Pinecone 按量费开小项目

embedding 省下来的钱,很容易被向量库吃回去。新手最爱犯的错:跟着教程无脑上 Pinecone 按量付费,跑个小项目,月底一看账单 $80——其中 60% 是向量存储和读写次数。

按项目阶段选向量库,能再砍一刀:

方案 成本 适合场景
pgvector(PostgreSQL 扩展) 免费(你本来就有 PG) 文档量 < 千万级,团队已用 PG,零新增基建
Qdrant / Weaviate 自建 免费(开源)+ 一台机器 中大规模、需要 HNSW 调参、要量化
Qdrant Cloud 免费层 1GB 免费 原型、小项目
Chroma / LanceDB(嵌入式) 免费 单机、嵌入式、无服务端
Pinecone Starter / 按量 免费层有限,超出按量 已确定规模、不想运维、预算充足

还有一招大杀器:向量量化(quantization)。Qdrant、Weaviate、Milvus 都支持把 float32 向量压成 int8 甚至 binary,存储和内存砍 4~32 倍,召回质量损失通常 <2%。一个 3072 维的大库开 int8 量化,存储费当场腰斩再腰斩。这个开关,又是框架默认不打开的。

四、实测:一个中等知识库能省多少

举个真实量级的例子。假设你有 100 万篇文档,平均每篇 500 token,共 5 亿 token,要建中文 RAG 库,每天查询 10 万次:

方案 建库 embedding 费 向量存储(月) 换模型重算费
text-embedding-3-large(3072维)+ Pinecone 按量 $65 ~$50 又 $65
text-embedding-3-small(1536维)+ pgvector $10 ~$0(复用 PG) 又 $10
BGE-M3 本地 + Qdrant 自建(开 int8 量化) $0 ~$0(一台机器) $0

最贵的组合(large + Pinecone)首月 ~$115,且任何一次模型迭代再交 $65「重算税」;最省的组合(BGE-M3 + Qdrant)首月接近 $0,重算也免费。差距是「持续百美元级出血」 vs「一次电费」——这就是九成账的由来。

注意:本地部署 BGE-M3 需要 GPU/CPU 算力,超大规模(亿级文档)场景下电费和机器折旧会显现,需自行折算;中小规模则基本白嫖。价格数字均以厂商官网为准。

五、决策树:你应该选哪把刀

flowchart TD
    A[要建 RAG embedding 索引] --> B{文档规模与预算}
    B{文档规模与预算} -->|原型/小项目,怕折腾| C[OpenAI text-embedding-3-small<br/>dimensions压到1024]
    B{文档规模与预算} -->|中文为主,追求质量+省钱| D[BGE-M3 本地部署<br/>Ollama 或 TEI]
    B{文档规模与预算} -->|英文,已锁定 OpenAI 生态| C
    C --> E{向量库选型}
    D --> E
    E -->|已有 PostgreSQL| F[pgvector 零新增基建]
    E -->|中大规模,要调参量化| G[Qdrant 自建 + 开 int8 量化]
    E -->|只想验证,不想运维| H[Qdrant Cloud 1GB 免费层]
    F --> I[✅ 账单砍九成]
    G --> I
    H --> I
    style D fill:#d4f5d4
    style I fill:#ffe9a8

六、信息差总结:你知道的 vs 别人不知道的

维度 大多数人以为 实际信息差
RAG 省钱重点 死盯回答用的大模型 embedding 这把刀砍得更狠,且最容易砍
OpenAI embedding 选型 默认上 3-large「最稳」 3-small 便宜 6.5 倍,中文场景质量几乎无差
高维度代价 维度越高越好 3072 维让存储/检索翻倍,dimensions 参数可压
中文 embedding 只有商用能用 BGE-M3 开源免费,中文反而更强
换模型成本 随时换 整库重算,第一次选错 = 再交一次建库费
向量库 无脑上 Pinecone 按量 pgvector/Qdrant 自建 + 量化,小项目几乎免费
向量量化 没听说过 int8/binary 量化砍存储 4~32 倍,召回损失 <2%

七、行动指南:今晚就能做的五步

  1. 审计现状:打开你的 RAG 代码,搜 embedding,看默认用的是什么模型、维度多少。如果看到 3-large + 3072,你已经能省 85%。
  2. 先压维度:在 3-large 调用里加 dimensions: 1024,或直接降级到 3-small。零代码风险,存储和调用费同步跳水。
  3. 中文库换本地:ollama pull bge-m3,跑个 100 条文档的对比测试,看检索质量是否达标,达标就把商用 embedding 费用清零。
  4. 向量库改自建:项目还在原型?直接 Chroma 或 pgvector。已上规模?Qdrant 自建并打开 int8 量化。
  5. 一次性建好增量管道:embedding 只对新文档增量计算,避免全量重算;把「换模型=全量重算」的隐性税在设计阶段就堵死。

参考来源

说明:本轮采集时联网搜索工具触发月度配额限制(429,预计 2026-07-18 重置),未能拉取实时页面,上述价格与能力数据基于厂商公开定价与开源模型说明整理,具体数字请以各官网当前公示为准。


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入