BFCL V4 评测架构
├── Simple Function Calling（单函数调用）
│   └── 单工具、单参数提取
├── Multiple Function Calling（多函数选择）
│   └── 从N个工具中选1个+填参
├── Parallel Function Calling（并行调用）
│   └── 一次响应调用多个独立函数
├── Multi-Step Chaining（多步链式）
│   └── 前一步输出作为后一步输入
├── Agentic Tasks (V4新增)
│   ├── Web Search（搜索+工具调用）
│   ├── Memory（跨轮次记忆）
│   └── Format Sensitivity（格式鲁棒性）

graph TD
    A[单步工具调用<br/>准确率: 88-91%] --> B[多函数选择<br/>准确率: 78-82%]
    B --> C[并行调用<br/>准确率: 65-72%]
    C --> D[3步链式调用<br/>准确率: 30-44%]
    D --> E[5步链式调用<br/>理论成功率: ~59%]
    E --> F[生产环境<br/>实际成功率: 45-55%]

    style A fill:#4CAF50,color:#fff
    style B fill:#8BC34A,color:#fff
    style C fill:#FFC107,color:#000
    style D fill:#FF9800,color:#fff
    style E fill:#F44336,color:#fff
    style F fill:#B71C1C,color:#fff

# τ2-bench 核心评估逻辑（简化）
def evaluate_turn(agent_action, policy, user_intent):
    tool_correct = check_tool_call(agent_action)  # 工具是否正确
    policy_compliant = check_policy(agent_action, policy)  # 是否合规
    user_satisfied = check_user_goal(agent_action, user_intent)  # 用户目标是否达成

    # 三者全通过才算成功
    return tool_correct and policy_compliant and user_satisfied

基准幻觉率 (3-7%)
  + 网络延迟/超时 (+2-3%)
  + API限流/错误 (+1-2%)
  + 上下文窗口溢出 (+1-2%)
  + 工具定义版本不匹配 (+1-3%)
  + 用户输入歧义 (+1-2%)
  = 生产失败率 (12-18%)

graph LR
    subgraph "阶段1: 工具选择衰减"
        A[1-5工具<br/>选择准确率: 95%+] --> B[5-20工具<br/>选择准确率: 85%]
    end
    subgraph "阶段2: 参数冲突衰减"
        B --> C[20-50工具<br/>参数混淆加剧]
    end
    subgraph "阶段3: 注意力稀释"
        C --> D[50+工具<br/>模型无法有效<br/>关注所有schema]
    end

    style A fill:#4CAF50,color:#fff
    style B fill:#FFC107,color:#000
    style C fill:#FF9800,color:#fff
    style D fill:#F44336,color:#fff

传统工具调用流程:
  LLM → [JSON函数定义] → 输出函数调用 → 应用层解析 → 执行

MCP工具调用流程:
  LLM → [MCP Client] → [MCP Server] → [工具发现/描述/执行]
         ↑ 协议标准化，厂商无关

用户输入 → [TTFT: 首token时间] → [函数名生成] → [参数生成] → [JSON解析] → 执行
           ← 200-800ms →        ← 50-200ms →    ← 100-400ms →  ← 10-50ms →

# 策略1: 预测性工具预加载
async def predict_and_preload(user_message: str):
    """在用户完成输入前，预测可能需要的工具并预热"""
    likely_tools = await light_classifier.predict(user_message)  # 50ms
    await mcp_client.prefetch_tool_schema(likely_tools)  # 预加载schema
    # 主LLM调用时工具定义已在缓存中

# 策略2: 流式函数调用
async def stream_tool_call(response_stream):
    """流式解析函数调用，不等完整JSON"""
    buffer = ""
    async for chunk in response_stream:
        buffer += chunk
        if partial_parseable(buffer):  # 部分参数已可执行
            yield partial_result  # 提前触发执行

# 策略3: 双模型架构
async def dual_model_tool_call(query: str):
    """小模型做工具选择，大模型做参数填充"""
    tool_name = await small_model.select_tool(query)  # 100ms
    params = await large_model.fill_params(query, tool_name)  # 300ms
    return tool_call(tool_name, params)

graph TB
    subgraph "第1层: 输入验证"
        A[用户输入预处理<br/>去歧义/规范化]
    end
    subgraph "第2层: 工具选择"
        B[工具路由器<br/>RAG检索+分类器]
    end
    subgraph "第3层: 参数验证"
        C[Schema约束<br/>JSON Schema验证]
    end
    subgraph "第4层: 执行监控"
        D[超时控制+重试<br/>指数退避]
    end
    subgraph "第5层: 结果验证"
        E[输出校验<br/>语义+格式检查]
    end
    subgraph "第6层: 降级恢复"
        F[Fallback策略<br/>人工接管/简化路径]
    end

    A --> B --> C --> D --> E --> F

    style A fill:#E8F5E9
    style B fill:#E3F2FD
    style C fill:#FFF3E0
    style D fill:#FCE4EC
    style E fill:#F3E5F5
    style F fill:#FFEBEE

class ResilientToolCaller:
    """生产级工具调用器"""

    def __init__(self, max_retries=3, base_delay=1.0):
        self.max_retries = max_retries
        self.base_delay = base_delay

    async def call_with_retry(self, tool_call: ToolCall) -> ToolResult:
        last_error = None
        for attempt in range(self.max_retries):
            try:
                result = await self._execute(tool_call)
                if self._validate(result, tool_call.schema):
                    return result
                # 语义验证失败 → 让LLM修正参数
                tool_call = await self._llm_fix_params(
                    tool_call, result.validation_errors
                )
            except RateLimitError:
                await asyncio.sleep(self.base_delay * 2**attempt)
            except ToolNotFoundError:
                # 工具幻觉 → 让LLM重新选择
                tool_call = await self._llm_reselect(tool_call)
            except TimeoutError:
                if attempt == self.max_retries - 1:
                    return self._fallback(tool_call)
                await asyncio.sleep(self.base_delay * 2**attempt)
        return self._fallback(tool_call)

graph TD
    A[团队阶段评估] --> B{有生产Agent吗?}
    B -->|否| C[阶段1: BFCL V4基线测试]
    B -->|是| D{失败率>10%?}

    C --> C1[1. 选目标模型跑BFCL V4]
    C1 --> C2[2. 重点关注多步链式得分]
    C2 --> C3[3. 如果<40%, 考虑工具路由]

    D -->|是| E[阶段2: τ-bench场景测试]
    D -->|否| F[阶段3: 自定义基准]

    E --> E1[1. 复刻业务流程到τ-bench格式]
    E1 --> E2[2. 跑Passᵏ测一致性]
    E2 --> E3[3. 识别Top-3失败模式]
    E3 --> E4[4. 针对性加固]

    F --> F1[1. 从生产日志提取真实工具调用]
    F1 --> F2[2. 构建回归测试集]
    F2 --> F3[3. 模型升级前跑回归]

    style C fill:#E8F5E9
    style E fill:#FFF3E0
    style F fill:#E3F2FD