API定价暗战：五个被低估的省钱入口

sequenceDiagram
    participant U as 你的应用
    participant A as Anthropic API
    participant C as Cache层

    Note over U,C: 第一次请求（无缓存）
    U->>A: 发送完整Prompt (30K tokens)
    A->>C: 检查缓存 → 未命中
    A->>A: 处理全部30K tokens
    A->>U: 返回结果（按30K计费）
    A->>C: 存入缓存（TTL 5分钟）

    Note over U,C: 第二次请求（命中缓存）
    U->>A: 发送相同前缀Prompt
    A->>C: 检查缓存 → 命中！
    A->>A: 只处理新增部分
    A->>U: 返回结果（按缓存价计费）
    Note right of A: 缓存部分费用降低90%

import anthropic

client = anthropic.Anthropic()

# 关键：用cache_control标记可缓存内容
response = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "你是一个专业的代码审查助手..." * 10,  # 长系统提示
            "cache_control": {"type": "ephemeral"}  # 启用缓存
        }
    ],
    messages=[
        {"role": "user", "content": "审查这段代码：..."}
    ]
)
# 第一次：正常计费
# 后续5分钟内：系统提示部分按1折计费

flowchart LR
    A[提交Batch任务] --> B[进入队列]
    B --> C[低峰期处理]
    C --> D[结果就绪通知]
    D --> E[获取结果]

    style A fill:#4CAF50,color:white
    style E fill:#2196F3,color:white
    Note1[节省50%费用] -.-> C

import anthropic

client = anthropic.Anthropic()

# 创建Batch任务
batch = client.messages.batches.create(
    requests=[
        {
            "custom_id": "review-001",
            "params": {
                "model": "claude-sonnet-4-20250514",
                "max_tokens": 1024,
                "messages": [
                    {"role": "user", "content": "审查代码文件A..."}
                ]
            }
        },
        {
            "custom_id": "review-002", 
            "params": {
                "model": "claude-sonnet-4-20250514",
                "max_tokens": 1024,
                "messages": [
                    {"role": "user", "content": "审查代码文件B..."}
                ]
            }
        }
        # ... 可以批量提交数千个请求
    ]
)

print(f"Batch ID: {batch.id}")
# 稍后查询结果
result = client.messages.batches.retrieve(batch.id)
# 状态：in_progress → ended（完成）

flowchart TD
    Q[用户请求] --> R{路由器判断复杂度}
    R -->|简单查询<br>分类/提取| H[Claude Haiku<br>$0.80/M input]
    R -->|中等任务<br>写作/摘要| S[Claude Sonnet<br>$3/M input]
    R -->|复杂推理<br>数学/代码| O[Claude Opus<br>$15/M input]

    style R fill:#FF9800,color:white
    style H fill:#4CAF50,color:white
    style S fill:#2196F3,color:white
    style O fill:#F44336,color:white

def route_request(user_input: str) -> str:
    """根据输入特征选择最经济的模型"""

    # 简单任务 → 最便宜的模型
    simple_keywords = ["分类", "提取", "翻译", "格式化", 
                       "summarize", "classify", "extract"]
    if any(kw in user_input.lower() for kw in simple_keywords):
        if len(user_input) < 500:
            return "claude-haiku-4-5-20251001"

    # 代码任务 → 中档模型
    code_keywords = ["代码", "debug", "refactor", "函数", 
                     "code", "function", "bug"]
    if any(kw in user_input.lower() for kw in code_keywords):
        return "claude-sonnet-4-20250514"

    # 默认 → 中档模型（而非最贵的）
    return "claude-sonnet-4-20250514"

用户：分析这段代码的问题
模型输出（约500 tokens）：
"好的，我来分析这段代码。首先，我注意到第15行有一个潜在的
空指针异常问题。这个问题的原因是变量`user`可能为null，
但在访问`user.name`之前没有进行null检查。建议修改为
先检查user是否为null，例如：if (user != null) { ... }
另外，第23行的循环效率较低..."

{"issues":[{"line":15,"type":"null_pointer","severity":"high","fix":"add null check"},{"line":23,"type":"performance","severity":"medium","fix":"use stream API"}],"summary":"2 issues found"}

# 使用Anthropic的结构化输出
response = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=256,  # 限制输出长度
    messages=[{"role": "user", "content": "分析代码问题，只返回JSON"}],
    # 直接要求短格式输出
)

flowchart LR
    subgraph 方案A[暴力方案：全塞上下文]
        A1[10万token文档] --> A2[每次发送全部]
        A2 --> A3[LLM处理]
        A3 --> A4[成本: $0.30/次]
    end

    subgraph 方案B[智能方案：RAG]
        B1[10万token文档] --> B2[Embedding一次]
        B2 --> B3[向量数据库存储]
        B3 --> B4[检索Top-K片段]
        B4 --> B5[只发送相关片段]
        B5 --> B6[LLM处理]
        B6 --> B7[成本: $0.002/次]
    end

    style A4 fill:#F44336,color:white
    style B7 fill:#4CAF50,color:white

from openai import OpenAI
import chromadb  # 开源向量数据库，本地免费运行

client = OpenAI()
chroma = chromadb.PersistentClient(path="./db")
collection = chroma.get_or_create_collection("docs")

# 步骤1：Embedding（一次性成本）
docs = ["文档内容1...", "文档内容2...", ...]  # 你的文档
for i, doc in enumerate(docs):
    emb = client.embeddings.create(
        model="text-embedding-3-small",
        input=doc
    )
    collection.add(ids=[f"doc_{i}"], 
                   embeddings=[emb.data[0].embedding],
                   documents=[doc])

# 步骤2：检索（几乎零成本）
query_emb = client.embeddings.create(
    model="text-embedding-3-small",
    input="用户的问题"
)
results = collection.query(
    query_embeddings=[query_emb.data[0].embedding],
    n_results=5  # 只取最相关的5段
)

# 步骤3：只把相关片段发给LLM
response = client.chat.completions.create(
    model="gpt-4o-mini",  # 用最便宜的模型
    messages=[
        {"role": "system", "content": "基于以下内容回答问题"},
        {"role": "user", "content": f"内容：{results['documents']}\n问题：用户的问题"}
    ],
    max_tokens=512
)
# 总成本：Embedding查询 $0.0001 + 生成 $0.0005 ≈ $0.0006/次

flowchart TB
    subgraph L1[第1层：请求入口]
        R[Model Router<br>60%请求→Haiku]
    end

    subgraph L2[第2层：缓存层]
        C[Prompt Caching<br>系统提示90% off]
    end

    subgraph L3[第3层：检索层]
        E[Embedding + RAG<br>替代长上下文150x省钱]
    end

    subgraph L4[第4层：输出优化]
        S[Structured Output<br>输出tokens减少50%]
    end

    subgraph L5[第5层：调度层]
        B[Batch API<br>非实时任务50% off]
    end

    R --> C --> E --> S
    B -.-> |离线任务| L5

    style R fill:#FF9800,color:white
    style C fill:#4CAF50,color:white
    style E fill:#2196F3,color:white
    style S fill:#9C27B0,color:white
    style B fill:#607D8B,color:white