六层AI成本削减术：账单砍90%的隐藏方法

from gptcache import Cache
from gptcache.adapter import openai as cache_openai
from gptcache.embedding import OpenAI as EmbedOpenAI
from gptcache.similarity_evaluation.simple import SimpleEvaluator

# 1. 初始化缓存（用本地向量存储，零成本）
cache = Cache()
cache.init(
    embedding_func=EmbedOpenAI(),        # 可换成免费的本地embedding
    similarity_eval=SimpleEvaluator(threshold=0.8),  # 相似度阈值
)

# 2. 像用OpenAI一样调用，但自动缓存
response = cache_openai.ChatCompletion.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Python怎么读CSV文件?"}],
    cache_obj=cache,  # 关键：注入缓存对象
)

# litellm_config.yaml
model_list:
  # 第一梯队：简单任务（翻译、摘要、格式转换）
  - model_name: fast-cheap
    litellm_params:
      model: deepseek/deepseek-v4-flash    # $0.14/1M input
    model_info:
      cost_per_token: 0.00000014

  # 第二梯队：中等任务（代码补全、分析）
  - model_name: balanced
    litellm_params:
      model: gemini/gemini-2.5-flash       # $0.30/1M input
    model_info:
      cost_per_token: 0.00000030

  # 第三梯队：复杂任务（推理、长文生成）
  - model_name: powerful
    litellm_params:
      model: anthropic/claude-sonnet-4-6   # $3/1M input
    model_info:
      cost_per_token: 0.000003

router_settings:
  routing_strategy: "cost-based"  # 关键：按成本路由
  allowed_fails: 3
  cooldown_time: 60

# 一行命令启动LiteLLM代理
litellm --config litellm_config.yaml --port 4000

# 然后所有API调用都指向 localhost:4000
# 用OpenAI SDK直接调用即可

from openai import OpenAI

client = OpenAI(base_url="http://localhost:4000", api_key="any")

# 简单任务 → 自动路由到 DeepSeek V4 Flash
response = client.chat.completions.create(
    model="fast-cheap",
    messages=[{"role": "user", "content": "翻译：Hello World"}]
)

# 复杂任务 → 自动路由到 Claude Sonnet
response = client.chat.completions.create(
    model="powerful",
    messages=[{"role": "user", "content": "分析这段代码的复杂度..."}]
)

# 正确做法：固定的system prompt放在最前面
SYSTEM_PROMPT = """
你是一个专业的代码审查助手。
请严格按照以下规范审查代码：
[... 固定的2000字审查规范 ...]
"""

# 每次请求只改用户消息，system prompt不变
# DeepSeek会自动缓存system prompt部分
response = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},  # 固定前缀→命中缓存
        {"role": "user", "content": new_code_to_review}  # 只有这部分变
    ]
)

flowchart LR
    A[开发/测试流量] --> B{任务类型}
    B -->|快速补全| C[Groq Llama 3.1 8B<br/>免费 14,400次/天]
    B -->|通用对话| D[Google AI Studio<br/>Gemini 2.5 Flash<br/>免费 1,500次/天]
    B -->|复杂推理| E[DeepSeek V4 Flash<br/>$0.14/1M]
    C --> F[月成本: $0]
    D --> F
    E --> G[月成本: ≈$5-20]

# 浪费token的写法
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "列出10个Python技巧，每个写详细解释"}]
)
# 返回可能2000+ tokens

# 省token的写法
response = client.chat.completions.create(
    model="gpt-4o",
    response_format={"type": "json_object"},
    messages=[{"role": "user", "content": "列出10个Python技巧，JSON格式，key=名称, value=一句话说明"}]
)
# 返回约300-500 tokens，节省75%

response = client.chat.completions.create(
    model="gpt-4o",
    max_tokens=150,  # 强制限制输出长度
    messages=[{"role": "user", "content": "用一句话回答：什么是REST API"}]
)

# 浪费：350 tokens的system prompt
"You are a helpful coding assistant. You should always provide clear and 
detailed explanations with code examples. When the user asks about Python..."

# 省钱：80 tokens的system prompt  
"Coding assistant. Rules: - Concise answers - Code examples - Python preferred"
# 节省77%

# 每轮对话约500 tokens，10轮=5000 tokens输入
# 只保留最近5轮=2500 tokens，省50%

messages = conversation_history[-5:]  # 只取最近5轮
messages.insert(0, {"role": "system", "content": system_prompt})

# 第一步：用DeepSeek V4 Flash（$0.14/1M）预处理
summary = cheap_client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": f"总结以下文档的3个关键点：\n{long_document}"}]
)

# 第二步：只把摘要发给Claude（$3/1M）
answer = expensive_client.chat.completions.create(
    model="claude-sonnet-4-6",
    messages=[{"role": "user", "content": f"基于以下摘要做决策：\n{summary}"}]
)

flowchart TB
    subgraph 原始方案["❌ 原始方案：全部打Claude Sonnet"]
        A1[10万次请求/月] --> A2[全部用Sonnet]
        A2 --> A3[月费: ~$4,200]
    end
    subgraph 优化方案["✅ 六层优化方案"]
        B1[10万次请求/月] --> B2[第1层: 语义缓存<br/>砍掉40%重复请求]
        B2 --> B3[剩余6万次] --> B4[第2层: LiteLLM路由<br/>70%分给便宜模型]
        B4 --> B5[实际付费模式] --> B6[第3层: Cache Hit<br/>DeepSeek前缀缓存]
        B6 --> B7[第5层: Token压缩<br/>平均省30%]
        B7 --> B8[第6层: Batch API<br/>非实时任务打5折]
        B8 --> B9[第4层: 免费层<br/>开发测试零成本]
        B9 --> B10[月费: ~$380]
    end
    style A3 fill:#f44336,color:#fff
    style B10 fill:#4CAF50,color:#fff