<!-- title: Agent自造工具六大引擎架构拆解 -->

# 从工具调用者到工具工匠：Agent自造工具六大引擎架构拆解

2024年ICLR上，一篇名为《Large Language Models as Tool Makers》的论文悄然改变了AI Agent的范式认知——当GPT-4作为工具制造者、GPT-3.5作为工具使用者时，组合性能竟然追平了GPT-4端到端的表现，成本却只有零头。此后两年，"Agent不仅是工具的使用者，更应该是工具的创造者"这一理念从学术概念走向工程落地。从CREATOR的抽象-具象解耦，到ToolWeave的多轮合成数据管线，再到ToolLLaMA的开源工具学习模型，一条完整的"自造工具"技术栈正在成型。本文深度拆解六大核心引擎的架构原理、实测数据和工程实践。

## 一、六大引擎全景对比

| 引擎 | 来源/发表 | 核心定位 | 工具生成方式 | 关键技术 | 训练方式 | 开源 |
|------|-----------|----------|-------------|----------|----------|------|
| **LATM** | ICLR 2024 | LLM作为工具制造者 | 闭式循环：制造→验证→复用 | Tool Maker + Tool User + Tool Manager三角色分离 | In-context learning | 部分 |
| **CREATOR** | EMNLP 2023 Findings | 解耦抽象与具象推理 | 文档化定义 + 代码实现 | 创建-决策-执行三阶段 | Few-shot prompting | 完全开源 |
| **ToolWeave** | arXiv 2605.12521 (2026) | 多轮工具调用合成数据 | 细粒度回合级规划合成 | 结构化状态机 + 参数约束 | 合成数据微调 | 开源 |
| **Toolformer** | Meta AI (NeurIPS 2023) | 自监督工具学习 | 插入API调用标记 | Perplexity过滤 + 自监督微调 | 自监督训练 | 未开源 |
| **ToolLLaMA** | ICLR 2024 Spotlight | 16000+真实API工具模型 | 指令微调工具使用能力 | DFSDR深度优先搜索决策 | 监督微调(SFT) | 完全开源 |
| **Switchcraft** | arXiv 2605.07112 (2026) | 工具调用模型路由 | 动态路由到最优模型 | 工具感知路由器 + 成本优化 | 混合训练 | 待定 |

## 二、LATM：工具制造的三角色闭环

### 架构原理

LATM（Large Language Models as Tool Makers）的核心洞察来自人类技术演化的类比：就像人类先发明锤子再使用锤子一样，LLM应该能先为特定任务类型创建可复用的工具函数，然后在后续同类任务中直接调用。框架设计了三个角色：

- **Tool Maker（工具制造者）**：由强模型（如GPT-4）担任，分析任务模式，编写通用工具函数
- **Tool User（工具使用者）**：由轻量模型（如GPT-3.5）担任，在已有工具库中选用工具解决问题
- **Tool Manager（工具管理者）**：负责工具的存储、检索和生命周期管理

```python
# LATM核心流程伪代码
class LATMAgent:
    def __init__(self, maker_model, user_model):
        self.maker = maker_model    # GPT-4
        self.user = user_model      # GPT-3.5
        self.tool_bank = ToolBank()
    
    def solve(self, task):
        # Phase 1: 工具制造
        tool_spec = self.maker.analyze_task_pattern(task)
        if not self.tool_bank.has_matching_tool(tool_spec):
            tool_code = self.maker.create_tool(tool_spec)
            tool_verified = self.maker.verify_tool(tool_code, task)
            if tool_verified:
                self.tool_bank.store(tool_spec, tool_code)
        
        # Phase 2: 工具使用（轻量模型）
        tool = self.tool_bank.retrieve(tool_spec)
        result = self.user.use_tool(tool, task)
        return result
```

### 实测数据

论文在Big-Bench推理任务上评估：GPT-4造工具 + GPT-3.5用工具的组合，达到了GPT-4直接推理的同等性能水平。关键经济指标：

- **成本降低**：工具一旦创建，后续同类任务仅消耗GPT-3.5级别的Token，成本降低约**30倍**
- **复用率**：在结构化推理任务中，单工具平均可复用于**15-20个**后续任务
- **泛化能力**：工具在不同分布的任务变体上仍保持有效性

### 优缺点

**优势**：经济性显著、工具可跨会话复用、将能力从强模型"蒸馏"到弱模型。

**局限**：工具制造阶段需要强模型参与，首任务延迟高；工具验证机制不够鲁棒，复杂场景下生成的工具可能包含边界条件缺陷；依赖任务模式的正确识别，模式识别错误会导致制造出无用工具。

**变现评估**：可作为"成本优化训练营"核心案例——企业用少量强模型调用批量制造工具，日常任务全部用弱模型+工具库完成。

## 三、CREATOR：抽象与具象的解耦革命

### 架构原理

CREATOR的核心命题是：LLM在工具使用中的失败，往往源于将"理解问题"和"操作工具"两个认知层次混为一谈。框架将Agent能力显式拆分为两个阶段：

1. **抽象推理（Abstract Reasoning）**：理解任务本质，设计工具的接口规范（文档、签名、语义描述）
2. **具象执行（Concrete Reasoning）**：根据工具规范，编写具体实现代码并执行

这种解耦带来了一个关键好处——LLM可以先在纯概念层面想清楚"需要什么工具"，而不被实现细节干扰。

```
CREATOR工作流：
用户任务 → [创建阶段] → 生成工具文档+代码
                           ↓
         [决策阶段] → 选择最佳工具组合
                           ↓
         [执行阶段] → 运行工具+修正结果
                           ↓
         [反馈循环] → 验证输出，必要时回溯到创建阶段
```

### 关键实验

在MATH和TabMWP基准上，CREATOR相比直接工具调用（Direct Tool Use）平均提升**7-12%**准确率。更具说服力的是，当任务需要组合多个工具时（如先用计算器再用格式化工具），CREATOR的优势扩大到**15-18%**，证明了解耦带来的组合推理增益。

### 代码示例

```python
# CREATOR风格：先定义工具规范，再实现
tool_spec = {
    "name": "compound_interest_calculator",
    "description": "计算复利终值，支持不同复利频率",
    "parameters": {
        "principal": "本金(float)",
        "rate": "年利率(float, 如0.05表示5%)",
        "time": "投资年限(float)",
        "frequency": "复利频率(int, 1=年, 12=月, 365=日)"
    },
    "returns": "复利终值(float)"
}

# Agent先生成规范，再编码实现
# 两个过程可以由不同能力级别的模型完成
```

### 优缺点

**优势**：推理层次清晰，工具文档可被人类审查和修改；工具规范与实现解耦，同一规范可对应多种实现。

**局限**：两阶段流程增加了总Token消耗约40%；对简单任务而言过度工程化；规范定义质量直接决定最终效果。

## 四、ToolWeave：多轮工具调用的合成数据引擎

### 架构原理

2026年出现的ToolWeave解决了一个工程痛点：真实的多轮工具调用训练数据极其稀缺。现有数据集要么是单轮调用（如BFCL），要么是多轮但参数被幻觉污染。ToolWeave采用细粒度回合级规划策略：

- **状态机建模**：将多轮工具对话建模为状态转换图，每个状态对应一个工具调用决策点
- **参数约束传播**：前序工具的输出作为后序工具参数的类型和值约束
- **反幻觉校验**：合成完成后自动执行所有工具调用链，过滤参数不匹配的样本

```python
# ToolWeave合成管线核心逻辑
class ToolWeaveSynthesizer:
    def synthesize_dialogue(self, task_spec, tool_catalog):
        state = {"turns": [], "tool_outputs": {}}
        
        for turn in range(max_turns):
            # 回合级规划：基于当前状态决定下一步
            plan = self.plan_turn(task_spec, state, tool_catalog)
            
            # 参数约束：从历史输出推断当前参数合法范围
            param_constraints = self.propagate_constraints(
                plan.tool_call, state["tool_outputs"]
            )
            
            # 生成调用：确保参数在约束范围内
            call = self.generate_constrained_call(
                plan, param_constraints
            )
            
            # 模拟执行并校验
            execution_result = self.simulate_execution(call)
            if self.validate(call, execution_result):
                state["turns"].append(call)
                state["tool_outputs"][call.id] = execution_result
        
        return state["turns"]
```

### 实测效果

在847个真实任务基准上（涵盖文件操作、Web交互、数据库查询），使用ToolWeave合成数据微调后的7B模型，多轮工具调用准确率从**42.3%提升至68.7%**，相比使用真实数据微调的基线高出**11.2个百分点**。这证明合成数据在质量上可以超越真实数据——前提是合成管线足够精细。

### 优缺点

**优势**：解决了多轮工具调用训练数据稀缺问题；参数约束传播机制有效抑制幻觉；数据生成成本远低于人工标注。

**局限**：合成管线的质量高度依赖种子任务的多样性；状态机建模对非结构化工具交互不够灵活。

## 五、Toolformer：自监督工具注入的奠基之作

### 架构原理

Meta AI在2023年提出的Toolformer走了一条完全不同的路线——不依赖人类标注，让模型**自己学会何时、如何调用工具**。核心流程：

1. **API调用插入**：在训练文本中，模型尝试在合适位置插入工具调用标记（如`[Calculator(2+3) → 5]`）
2. **Perplexity过滤**：计算插入工具调用前后的文本困惑度差异，只保留**降低**困惑度的插入（即真正有用的工具调用）
3. **自监督微调**：用过滤后的数据微调原始模型

这种方法的美妙之处在于：模型学会了**自我判断**何时需要借助外部工具——不需要人工规则规定"遇到数学题就用计算器"。

### 实测数据

- 在数学推理（GSM8K）上，Toolformer相比基线提升约**12%**
- 在时间感知任务上，通过注入日历API，准确率从**38%提升至71%**
- 翻译任务中通过注入翻译API，BLEU分数提升**5-8个点**

### 局限性分析

Toolformer的最大局限在于**工具范围有限**——原始论文只验证了5种工具（计算器、问答系统、搜索引擎、翻译器、日历）。扩展到更多工具时，自监督信号的噪声显著增大，Perplexity过滤的可靠性下降。此外，2026年的一项复现研究表明，Toolformer在嵌套工具调用场景下的表现急剧下降，准确率衰减超过**60%**。

## 六、ToolLLaMA：开源工具学习的里程碑

### 架构原理

清华大学OpenBMB团队的ToolLLaMA项目是目前开源社区最完整的工具学习方案，覆盖了从数据构建到模型训练再到评估的全链路：

- **数据规模**：覆盖16,000+真实API，自动构建126,000+指令-工具调用对话对
- **DFSDR算法**：深度优先搜索决策树，让模型在多个候选工具中探索最优路径
- **评估体系**：不仅评估最终答案正确性，还评估工具选择合理性、参数传递准确性等过程指标

```python
# ToolBench评估维度示意
evaluation_dimensions = {
    "tool_selection": "是否选择了正确的工具",
    "parameter_passing": "参数类型、值是否匹配API签名",
    "multi_step_coherence": "多步调用间的逻辑连贯性",
    "final_answer": "最终答案是否正确",
    "api_call_efficiency": "是否使用了最少必要的API调用"
}
```

### ToolLLaMA v2升级

2025年发布的ToolLLaMA-2-7b-v2在ToolBench上的表现已接近ChatGPT（turbo-16k）水平，在多工具场景中甚至有所超越。关键改进：

- 基于Llama-2-7b训练，支持更长上下文（16K tokens）
- 改进的指令微调数据，减少了幻觉式API调用约**23%**
- 在BFCL v3上达到开源模型前列水平

### 变现路径

ToolLLaMA的开源生态适合两种变现模式：一是"私有化工具Agent"——企业在ToolLLaMA基础上注入自己的API生态微调，构建私有工具助手；二是"工具学习训练营"——围绕ToolBench/ToolLLaMA构建完整的工具Agent开发课程。

## 七、Switchcraft：工具调用感知的智能路由

### 架构原理

2026年5月发表的Switchcraft论文揭示了一个被忽视的问题：现有的模型路由器（如将简单查询路由到小模型、复杂查询路由到大模型）在**工具调用场景下完全失效**。原因是工具调用的复杂性不仅取决于查询文本，还取决于工具定义的复杂度、参数嵌套深度等维度。Switchcraft是首个专门为工具调用优化模型路由器：

- **工具感知特征提取**：不只分析用户查询，还分析可用工具的schema复杂度
- **调用深度预测**：预估当前任务需要的工具调用轮数和嵌套层数
- **成本-准确率帕累托优化**：在满足准确率阈值的前提下，选择最经济的模型

### 架构图

```mermaid
graph TD
    A[用户查询 + 工具Schema] --> B[特征提取器]
    B --> C[查询复杂度编码]
    B --> D[工具Schema复杂度编码]
    B --> E[调用深度预测器]
    C --> F[路由决策引擎]
    D --> F
    E --> F
    F --> G{路由决策}
    G -->|简单单轮| H[Haiku级模型]
    G -->|标准多轮| I[Sonnet级模型]
    G -->|嵌套复杂| J[Opus级模型]
    H --> K[执行结果]
    I --> K
    J --> K
    K --> L[成本追踪]
    L --> F
```

### 核心发现

论文在BFCL v4和τ-bench上的实验表明：

- 传统路由器在工具调用场景下的路由准确率仅为**52-58%**（随机水平）
- Switchcraft将路由准确率提升至**84-89%**
- 在保持同等准确率的前提下，平均降低**37%**的推理成本

## 八、六大引擎的工程实践建议

### 场景匹配矩阵

| 你的场景 | 推荐引擎 | 组合方案 |
|---------|---------|---------|
| 企业内部大量重复性任务 | **LATM** + Switchcraft | 先用强模型批量制造工具，日常用路由器选择经济模型执行 |
| 需要人类审查工具逻辑 | **CREATOR** | 文档化的工具规范便于合规审查 |
| 训练自有工具使用模型 | **ToolWeave** + ToolLLaMA | 合成数据微调开源基座模型 |
| 快速原型验证 | **Toolformer**方式 | 自监督注入，无需标注数据 |
| 大规模API生态接入 | **ToolLLaMA** + ToolBench | 16000+ API生态，直接复用 |
| 多模型成本优化 | **Switchcraft** | 工具调用感知的动态路由 |

### 关键经验法则

1. **工具制造投入**的计算公式：当同类型任务出现频率 ≥ 10次/月时，LATM模式的经济回报为正
2. **合成数据 vs 真实数据**：在多轮工具调用场景中，ToolWeave风格的高质量合成数据可以比随机采样的真实数据效果更好
3. **路由器的隐性价值**：在生产环境中，Switchcraft式的工具感知路由器可降低30-40%的总拥有成本
4. **安全审查要点**：自造工具必须在沙箱中验证后才能入库，防止工具代码中嵌入恶意逻辑

```mermaid
graph LR
    subgraph 自造工具技术栈
        A[需求分析] --> B[工具规范设计<br/>CREATOR]
        B --> C[工具代码生成<br/>LATM/ToolWeave]
        C --> D[自动验证<br/>沙箱执行]
        D --> E[工具入库<br/>Tool Manager]
        E --> F[动态路由<br/>Switchcraft]
        F --> G[执行监控<br/>可观测性]
    end

    subgraph 训练数据飞轮
        C --> H[合成数据生成<br/>ToolWeave]
        H --> I[模型微调<br/>ToolLLaMA]
        I --> J[工具使用能力提升]
        J --> C
    end
```

## 九、从调用到创造的范式跃迁

六大引擎代表了Agent工具能力的三个进化阶段：

**第一代——工具调用（2023）**：Toolformer为代表，模型学会在预设工具集中选择和调用。本质是"给模型一个工具箱"。

**第二代——工具制造（2024）**：LATM和CREATOR为代表，模型开始为特定任务类型创造可复用的工具。本质是"模型自己造工具"。

**第三代——工具生态（2025-2026）**：ToolWeave、Switchcraft、ToolLLaMA为代表，工具的制造、训练、路由形成完整闭环。本质是"模型自治的工具生态系统"。

这个进化路径的商业含义极为清晰：当Agent能够自主制造工具并优化工具使用策略时，企业需要的不再是"给AI配备工具"的集成工程师，而是"设计工具治理框架"的策略师。工具创造能力的民主化，正在将AI Agent从一个被动的工具使用者，转变为主动的生产力引擎。

## 参考来源

1. [Large Language Models as Tool Makers - ICLR 2024](https://arxiv.org/abs/2305.17126) — LATM框架原始论文，提出工具制造者-使用者-管理者三角色分离架构
2. [CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning](https://arxiv.org/abs/2305.14318) — 解耦工具创建与使用的创新框架，EMNLP 2023 Findings
3. [ToolWeave: Structured Synthesis of Complex Multi-Turn Tool-Calling](https://arxiv.org/abs/2605.12521) — 2026年最新合成数据框架，解决多轮工具调用训练数据稀缺问题
4. [Switchcraft: AI Model Router for Agentic Tool Calling](https://arxiv.org/abs/2605.07112) — 首个工具调用感知模型路由器，ICML 2026收录
5. [ToolLLM: Facilitating LLMs to Master 16000+ Real-world APIs](https://arxiv.org/abs/2307.16789) — 清华开源工具学习全栈方案，ICLR 2024 Spotlight

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)