API级省钱深潜：开发者必须知道的定价陷阱与破解法

flowchart LR
    A[API请求] --> B{缓存命中?}
    B -->|首次| C[全价处理<br/>写入缓存]
    B -->|命中| D[缓存价处理<br/>省90%]
    C --> E[返回结果]
    D --> E

    style C fill:#ff6b6b,color:#fff
    style D fill:#51cf66,color:#fff
    style B fill:#ffd43b,color:#333

import anthropic

client = anthropic.Anthropic()

# 第一次请求：标记要缓存的部分
response = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "你是一个专业的代码审查助手..." * 100,  # 大段 system prompt
            "cache_control": {"type": "ephemeral"}  # 标记缓存
        }
    ],
    messages=[
        {"role": "user", "content": "审查这段代码：..."}
    ]
)
# 首次：全价。后续5分钟内的请求：缓存部分打1折

# Anthropic Batch API 示例
batch = client.messages.batches.create(
    requests=[
        {
            "custom_id": "request-1",
            "params": {
                "model": "claude-sonnet-4-20250514",
                "max_tokens": 1024,
                "messages": [
                    {"role": "user", "content": "分类这段文本：..."}
                ]
            }
        },
        # ... 可以一次提交上千条
    ]
)
# 50% 折扣，结果在24小时内返回

flowchart TD
    A[用户请求] --> B{任务复杂度判断}
    B -->|简单分类/提取| C[Haiku / mini<br/>$0.15-0.80/1M input]
    B -->|常规对话/写作| D[Sonnet / GPT-4o<br/>$2.50-3.00/1M input]
    B -->|复杂推理/代码| E[Opus / o3<br/>$15-60/1M input]

    style C fill:#51cf66,color:#fff
    style D fill:#ffd43b,color:#333
    style E fill:#ff6b6b,color:#fff

import re

def route_request(task: str, complexity_signals: dict) -> str:
    """根据任务复杂度路由到最经济的模型"""

    # 简单任务 → 最便宜模型
    simple_patterns = [
        r"分类|提取|格式化|翻译短句",
        r"is this|yes or no|classify",
    ]

    # 中等任务 → 中端模型
    medium_signals = [
        complexity_signals.get("input_length", 0) < 5000,
        not complexity_signals.get("requires_reasoning", False),
    ]

    for pattern in simple_patterns:
        if re.search(pattern, task, re.IGNORECASE):
            return "claude-3-5-haiku"  # 或 gpt-4o-mini

    if all(medium_signals):
        return "claude-sonnet-4"  # 或 gpt-4o

    return "claude-opus-4"  # 仅复杂任务用最强模型

graph LR
    subgraph 自建方案
        A1[GPU服务器<br/>8×H100 ≈ $250K] --> A2[3年摊销<br/>≈ $6,944/月]
        A2 --> A3[电费+运维<br/>≈ $2,000/月]
        A3 --> A4[人力成本<br/>≈ $8,000/月]
        A4 --> A5[总计 ≈ $17,000/月]
    end

    subgraph API方案
        B1[按量付费<br/>弹性扩展] --> B2[日均100M tokens<br/>≈ $15,000-50,000/月]
    end

    A5 --> C{盈亏平衡点<br/>≈ 日均80-120M tokens}
    B2 --> C

    style C fill:#ffd43b,color:#333
    style A5 fill:#ff6b6b,color:#fff

import openai  # OpenRouter 兼容 OpenAI SDK

client = openai.OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="your-openrouter-key"
)

# 简单任务用便宜模型
response = client.chat.completions.create(
    model="meta-llama/llama-3-70b-instruct",  # 开源模型，价格极低
    messages=[{"role": "user", "content": "将这段文本翻译为英文"}],
    max_tokens=500
)

flowchart TD
    A[零成本AI开发栈] --> B[代码补全<br/>Codeium Free Tier]
    A --> C[对话AI<br/>Ollama + Qwen2.5-Coder]
    A --> D[嵌入模型<br/>HuggingFace + BGE-M3]
    A --> E[图像生成<br/>ComfyUI + SD 3.5 Local]
    A --> F[向量数据库<br/>ChromaDB / Qdrant 本地]

    B --> G[总成本：$0]
    C --> G
    D --> G
    E --> G
    F --> G

    style G fill:#51cf66,color:#fff
    style A fill:#339af0,color:#fff

# 不用 JSON mode - 模型会加大量解释文字
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "这个评论是正面还是负面的？"}]
)
# 输出："这个评论表达了积极的态度，用户对产品质量很满意，因此判断为正面评价。"
# 消耗约 40 tokens

# 用 JSON mode - 直接返回结构
response = client.chat.completions.create(
    model="gpt-4o-mini",
    response_format={"type": "json_object"},
    messages=[{"role": "user", "content": "分类：正面/负面。返回JSON: {sentiment, confidence}"}]
)
# 输出：{"sentiment":"positive","confidence":0.95}
# 消耗约 15 tokens — 省62%

from gptcache import Cache
from gptcache.adapter import openai

cache = Cache()
cache.init(
    pre_embedding_func=get_prompt,  # 提取查询
    embedding_func=to_embeddings,    # 向量化
    data_manager=data_manager,       # 存储管理
    similarity_evaluation=sim_eval,  # 相似度阈值
)

# 相似问题直接返回缓存
cached_response = openai.ChatCompletion.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Python怎么读取CSV文件"}],
    cache_obj=cache  # 命中"如何用Python读CSV"等相似问题
)