首页 › cost-hacks › 推理模型默认烧23倍:两个省钱旋钮

你可能不知道:GPT-5 把 reasoning_effort 从 High 拧到 Minimal,完成同一套推理基准测试,token 用量差 23 倍;而同一个 Llama 3.3 70B 权重,换个推理云厂商,单价差 9 倍。这两个旋钮,一个在 OpenAI/Anthropic/Google 的请求参数里,一个在 OpenRouter/DeepInfra 的下拉菜单里——90% 的人两根都拧在"最贵"那档还浑然不觉。这篇拆给你看:推理模型时代账单失控的真正元凶,以及怎么不降智地把账单砍掉六成。

信息差一:reasoning_effort 这个旋钮,默认就在烧钱

2025 年下半年开始,主流旗舰全部变成"会先思考再回答"的推理模型(GPT-5/GPT-5.4、o 系列、Claude extended thinking、Gemini 2.5)。每一条请求多了一个隐藏字段:reasoning effort(推理预算)。GPT-5.4 暴露五档:none、low、medium、high、xhigh。它控制模型"想多久"。

关键认知差在这句:思考 token 按输出 token 计费。没有任何额外附加费——higher effort 只是单纯生成更多 token,然后你照价买单。

独立基准测试机构 Artificial Analysis 跑了 GPT-5 全部四档推理预算,结论非常刺眼:

推理档位 完成 Index 的 token 相对 High 智能水平(AA Index)
High 82M 1.0× 新智能天花板(全场最高)
Medium — — 67,接近 o3
Low — — 64,介于 DeepSeek R1 与 o3 之间
Minimal 3.5M 0.043× 44,接近 GPT-4.1

同一套测试,High 用了 82M token,Minimal 只用 3.5M,差 23 倍。 Minimal 的智能已接近 GPT-4.1——对绝大多数日常任务(摘要、分类、翻译、提取、简单问答)已经绰绰有余。

更阴险的是这条 AA 的原话:"between medium and high there is less of an uplift"——从 medium 升到 high,智能涨幅很小,但 token 涨幅很大。也就是说,medium→high 是性价比最差的一跳,偏偏很多人习惯性默认 high。

一位开发者(bswen.io)把各档的 token 倍数实测成了一张表,可以直接拿来做预算路由:

effort 相对 token 消耗 适用场景
none 1.0× 事实问答、快摘要、翻译
low 1.2×(+10~20%) 需要一点可靠性的简单任务
medium 1.5×(+30~50%) 分析、多步推理、常规编码
high 2.0×(+50~100%) 架构设计、复杂综合、规划
xhigh 3.0×(+100%+) 只有 eval 证明需要时才用

他踩的坑极具代表性:"我曾把所有请求默认设成 high,以为更安全。结果是账单暴涨、响应变慢,有时质量反而更差。" Reddit 上高赞评论一句话点破:"High should not be your default."(high 不该是你的默认值。)新版 GPT-5 系列的默认值已经悄悄改成了 none/minimal,因为对大多数场景这就够了——但很多老代码和老习惯还停留在 high。

怎么拧这个旋钮(三步):

from openai import OpenAI
client = OpenAI()

# 错误写法:从来不传 reasoning_effort,吃默认(或被旧库默认成 medium/high)
# 正确写法:按任务显式指定
resp = client.chat.completions.create(
    model="gpt-5.4-mini",
    messages=[{"role": "user", "content": "总结这篇文章:……"}],
    reasoning_effort="low",          # 1. 简单任务就别让它深思
    max_completion_tokens=1000,      # 2. 同时给思考上限,防爆
)
print(resp.usage)  # 3. 把 usage.completion_tokens 打出来做账

max_completion_tokens 这一行常被忽略,但它是防爆开关——它同时限制了"思考 + 作答"的总输出,防止模型在某个 case 上无限脑补把你卡爆。配套做法:上线前先拿 usage.completion_tokens 做日志,按任务分桶统计真实倍数,再决定哪类该降档。

⚠️ 别在调用前不设档、事后才发现烧钱。reasoning token 是后付费的、看不见的、直接乘进 output 单价的。

信息差二:同一份权重,换个推理云差 9 倍

第二个旋钮针对开源/开放权重模型(Llama、Qwen、DeepSeek、gpt-oss 等)。你以为"用 Llama 3.3 70B"就是一个价格?错。同一份权重文件,不同推理云厂商的单价能差近一个数量级。

SaturnCloud 的《推理厂商对比报告》用 Llama 3.3 70B Instruct 作为基准(最主流的中等规模稠密模型),结论:

"Price spread is ~9x for the same model"——同一份 Llama 3.3 70B 权重,blended(3:1 输入输出加权)单价从 ~$0.12/M(DeepInfra Turbo FP8)一路到 ~$1.05/M,差约 9 倍。

厂商(Llama 3.3 70B) Input $/M Output $/M Blended $/M 输出速度
DeepInfra(Turbo FP8) 0.10 0.32 ~0.12 ~25 tok/s
Novita 0.14 ~0.39 ~0.16 随负载
Scaleway(联系定价) — — ~1.05 随负载
Groq(LPU) 0.59 0.79 ~0.64 ~319 tok/s

Infrabase 在 2026 年 6 月 6 日用另一款热门开放模型 gpt-oss-120B 复核了一遍,结论一致——且更新到了本月:

厂商(gpt-oss-120B,2026-06-06 实价) Input $/M Output $/M Blended(3:1)$/M
DeepInfra 0.039 0.19 ~0.077
Novita 0.05 0.25 ~0.10
SiliconFlow 0.05 0.45 ~0.15
Groq / Together.ai / Fireworks 0.15 0.60 ~0.26

同样的 gpt-oss-120B,Groq/Together/Fireworks 比 DeepInfra 贵 约 3.4 倍。而且这价格还在跌:DeepInfra 上 gpt-oss-120B 的 blended 从 2026 年 3 月的 ~$0.08 掉到 6 月的 ~$0.05——所以别拿去年的报价表当圣旨,每月都要去厂商定价页核对一次。

那是不是无脑选最便宜?不是。 关键在于"贵的那几家贵的有道理",要按负载类型分流:

记住这条心智模型:速度档(Groq/Cerebras)和价格档(DeepInfra/Novita)是两个不同的桶。把对延迟敏感的流量走速度桶、把批处理走价格桶,就是绝大多数公司没做的简单分流。

一张图看清两个旋钮怎么配合

flowchart TD
    A["新请求进来"] --> B{"用闭源推理模型?<br/>GPT-5/o3/Claude/Gemini"}
    B -- 是 --> C{"任务复杂度"}
    C -- "事实/摘要/翻译/提取<br/>(约40%流量)" --> D["effort = none/low<br/>上限 max_completion_tokens"]
    C -- "分析/多步/常规编码<br/>(约40%)" --> E["effort = medium<br/>性价比最优档"]
    C -- "架构/规划/难题<br/>(约20%)" --> F["effort = high<br/>xhigh 仅 eval 证明后用"]
    D --> G["打 usage 日志, 分桶统计"]
    E --> G
    F --> G

    B -- "否, 用开源模型" --> H{"延迟敏感?"}
    H -- "是, 实时聊天/agent" --> I["速度桶: Groq / Cerebras<br/>贵3倍 但 TTFT<1s"]
    H -- "否, 批处理/离线" --> J["价格桶: DeepInfra / Novita<br/>最便宜, 量越大越省"]
    I --> K["经 OpenRouter 统一入口<br/>每月核对一次报价"]
    J --> K
    G --> K
    K --> L["账单砍 50~70%<br/>智能基本不掉"]

真实省钱计算:原价 vs 优化后

场景 A——推理档位路由(闭源推理模型)

某 5 人团队,agent 流量月跑 1000 万 output token,全部默认 high(相对倍数 2.0×)。按 bswen 的实测倍数做智能路由:40% 降到 low(1.2×)、40% 用 medium(1.5×)、20% 保留 high(2.0×)。

场景 B——推理云套利(开源模型)

同一个团队另有一条 Llama 3.3 70B 的批处理线,月 1 亿 blended token:

若这条线跑的是 gpt-oss-120B:

两条线加起来,一个改参数、一个换厂商,几乎零开发量,月省破百美金、年省四位数——这就是大多数团队没捡的钱。

信息差总结:你知道的 vs 别人不知道的

维度 大多数人以为 真实的信息差
推理模型计费 "思考不额外收费" 思考 token 计入 output,High 比 Minimal 烧 23 倍
effort 默认值 "high 最安全,先选 high" 新版 GPT-5 默认已改 minimal;medium→high 性价比最差
防爆手段 只设 temperature max_completion_tokens 才是限制思考量的闸
开源模型价格 "用 Llama 就一个价" 同权重厂商间差 9 倍,每月还在跌
厂商选择 "贵的质量好" 速度档(Groq/Cerebras)与价格档(DeepInfra)是两个桶,按延迟分流
报价表 "查一次够用半年" 价格月月变,gpt-oss-120B 三个月跌近 40%

行动指南:今天就能做的五步

  1. 审计现有调用——在所有调用 OpenAI/Anthropic/Google 的地方 grep 一下 reasoning_effort、reasoning、thinking 这几个字段。没传的,就是你在吃默认值(可能是 high)。把 usage.completion_tokens 打进日志,按接口分桶统计一周。
  2. 给每个接口贴档位标签——简单接口(摘要/分类/提取)强制 none/low;分析/编码类 medium;只有规划/架构类留 high,xhigh 除非 eval 证明否则禁用。给每个调用都加上 max_completion_tokens 上限。
  3. 开源流量做厂商分流——把实时聊天/agent 切 Groq 或 Cerebras(吃延迟红利),把批处理切 DeepInfra/Novita(吃价格红利),用 OpenRouter 做统一入口方便随时切换。
  4. 每月 1 号核对报价——DeepInfra、Groq、Together、OpenRouter 的定价页各看一眼,同一个模型名重新比一次价。把"核对报价"写进运维 checklist。
  5. 建一个 effort↔厂商路由层——哪怕是 if/else:按 task_type 选 effort,按 latency_sensitive 选厂商。这一层一旦存在,账单就开始自动省钱,而且模型升级时只改一行。

推理模型让"思考"变得既强大又昂贵。但贵不贵,不取决于模型,而取决于你有没有拧那两个旋钮。

参考来源


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入