2024年ICLR上，一篇名为《Large Language Models as Tool Makers》的论文悄然改变了AI Agent的范式认知——当GPT-4作为工具制造者、GPT-3.5作为工具使用者时，组合性能竟然追平了GPT-4端到端的表现，成本却只有零头。此后两年，"Agent不仅是工具的使用者，更应该是工具的创造者"这一理念从学术概念走向工程落地。从CREATOR的抽象-具象解耦，到ToolWeave的多轮合成数据管线，再到ToolLLaMA的开源工具学习模型，一条完整的"自造工具"技术栈正在成型。本文深度拆解六大核心引擎的架构原理、实测数据和工程实践。
| 引擎 | 来源/发表 | 核心定位 | 工具生成方式 | 关键技术 | 训练方式 | 开源 |
|---|---|---|---|---|---|---|
| LATM | ICLR 2024 | LLM作为工具制造者 | 闭式循环：制造→验证→复用 | Tool Maker + Tool User + Tool Manager三角色分离 | In-context learning | 部分 |
| CREATOR | EMNLP 2023 Findings | 解耦抽象与具象推理 | 文档化定义 + 代码实现 | 创建-决策-执行三阶段 | Few-shot prompting | 完全开源 |
| ToolWeave | arXiv 2605.12521 (2026) | 多轮工具调用合成数据 | 细粒度回合级规划合成 | 结构化状态机 + 参数约束 | 合成数据微调 | 开源 |
| Toolformer | Meta AI (NeurIPS 2023) | 自监督工具学习 | 插入API调用标记 | Perplexity过滤 + 自监督微调 | 自监督训练 | 未开源 |
| ToolLLaMA | ICLR 2024 Spotlight | 16000+真实API工具模型 | 指令微调工具使用能力 | DFSDR深度优先搜索决策 | 监督微调(SFT) | 完全开源 |
| Switchcraft | arXiv 2605.07112 (2026) | 工具调用模型路由 | 动态路由到最优模型 | 工具感知路由器 + 成本优化 | 混合训练 | 待定 |
LATM（Large Language Models as Tool Makers）的核心洞察来自人类技术演化的类比：就像人类先发明锤子再使用锤子一样，LLM应该能先为特定任务类型创建可复用的工具函数，然后在后续同类任务中直接调用。框架设计了三个角色：
# LATM核心流程伪代码
class LATMAgent:
def __init__(self, maker_model, user_model):
self.maker = maker_model # GPT-4
self.user = user_model # GPT-3.5
self.tool_bank = ToolBank()
def solve(self, task):
# Phase 1: 工具制造
tool_spec = self.maker.analyze_task_pattern(task)
if not self.tool_bank.has_matching_tool(tool_spec):
tool_code = self.maker.create_tool(tool_spec)
tool_verified = self.maker.verify_tool(tool_code, task)
if tool_verified:
self.tool_bank.store(tool_spec, tool_code)
# Phase 2: 工具使用（轻量模型）
tool = self.tool_bank.retrieve(tool_spec)
result = self.user.use_tool(tool, task)
return result
论文在Big-Bench推理任务上评估：GPT-4造工具 + GPT-3.5用工具的组合，达到了GPT-4直接推理的同等性能水平。关键经济指标：
优势：经济性显著、工具可跨会话复用、将能力从强模型"蒸馏"到弱模型。
局限：工具制造阶段需要强模型参与，首任务延迟高；工具验证机制不够鲁棒，复杂场景下生成的工具可能包含边界条件缺陷；依赖任务模式的正确识别，模式识别错误会导致制造出无用工具。
变现评估：可作为"成本优化训练营"核心案例——企业用少量强模型调用批量制造工具，日常任务全部用弱模型+工具库完成。
CREATOR的核心命题是：LLM在工具使用中的失败，往往源于将"理解问题"和"操作工具"两个认知层次混为一谈。框架将Agent能力显式拆分为两个阶段：
这种解耦带来了一个关键好处——LLM可以先在纯概念层面想清楚"需要什么工具"，而不被实现细节干扰。
CREATOR工作流：
用户任务 → [创建阶段] → 生成工具文档+代码
↓
[决策阶段] → 选择最佳工具组合
↓
[执行阶段] → 运行工具+修正结果
↓
[反馈循环] → 验证输出，必要时回溯到创建阶段
在MATH和TabMWP基准上，CREATOR相比直接工具调用（Direct Tool Use）平均提升7-12%准确率。更具说服力的是，当任务需要组合多个工具时（如先用计算器再用格式化工具），CREATOR的优势扩大到15-18%，证明了解耦带来的组合推理增益。
# CREATOR风格：先定义工具规范，再实现
tool_spec = {
"name": "compound_interest_calculator",
"description": "计算复利终值，支持不同复利频率",
"parameters": {
"principal": "本金(float)",
"rate": "年利率(float, 如0.05表示5%)",
"time": "投资年限(float)",
"frequency": "复利频率(int, 1=年, 12=月, 365=日)"
},
"returns": "复利终值(float)"
}
# Agent先生成规范，再编码实现
# 两个过程可以由不同能力级别的模型完成
优势：推理层次清晰，工具文档可被人类审查和修改；工具规范与实现解耦，同一规范可对应多种实现。
局限：两阶段流程增加了总Token消耗约40%；对简单任务而言过度工程化；规范定义质量直接决定最终效果。
2026年出现的ToolWeave解决了一个工程痛点：真实的多轮工具调用训练数据极其稀缺。现有数据集要么是单轮调用（如BFCL），要么是多轮但参数被幻觉污染。ToolWeave采用细粒度回合级规划策略：
# ToolWeave合成管线核心逻辑
class ToolWeaveSynthesizer:
def synthesize_dialogue(self, task_spec, tool_catalog):
state = {"turns": [], "tool_outputs": {}}
for turn in range(max_turns):
# 回合级规划：基于当前状态决定下一步
plan = self.plan_turn(task_spec, state, tool_catalog)
# 参数约束：从历史输出推断当前参数合法范围
param_constraints = self.propagate_constraints(
plan.tool_call, state["tool_outputs"]
)
# 生成调用：确保参数在约束范围内
call = self.generate_constrained_call(
plan, param_constraints
)
# 模拟执行并校验
execution_result = self.simulate_execution(call)
if self.validate(call, execution_result):
state["turns"].append(call)
state["tool_outputs"][call.id] = execution_result
return state["turns"]
在847个真实任务基准上（涵盖文件操作、Web交互、数据库查询），使用ToolWeave合成数据微调后的7B模型，多轮工具调用准确率从42.3%提升至68.7%，相比使用真实数据微调的基线高出11.2个百分点。这证明合成数据在质量上可以超越真实数据——前提是合成管线足够精细。
优势：解决了多轮工具调用训练数据稀缺问题；参数约束传播机制有效抑制幻觉；数据生成成本远低于人工标注。
局限：合成管线的质量高度依赖种子任务的多样性；状态机建模对非结构化工具交互不够灵活。
Meta AI在2023年提出的Toolformer走了一条完全不同的路线——不依赖人类标注，让模型自己学会何时、如何调用工具。核心流程：
[Calculator(2+3) → 5]）这种方法的美妙之处在于：模型学会了自我判断何时需要借助外部工具——不需要人工规则规定"遇到数学题就用计算器"。
Toolformer的最大局限在于工具范围有限——原始论文只验证了5种工具（计算器、问答系统、搜索引擎、翻译器、日历）。扩展到更多工具时，自监督信号的噪声显著增大，Perplexity过滤的可靠性下降。此外，2026年的一项复现研究表明，Toolformer在嵌套工具调用场景下的表现急剧下降，准确率衰减超过60%。
清华大学OpenBMB团队的ToolLLaMA项目是目前开源社区最完整的工具学习方案，覆盖了从数据构建到模型训练再到评估的全链路：
# ToolBench评估维度示意
evaluation_dimensions = {
"tool_selection": "是否选择了正确的工具",
"parameter_passing": "参数类型、值是否匹配API签名",
"multi_step_coherence": "多步调用间的逻辑连贯性",
"final_answer": "最终答案是否正确",
"api_call_efficiency": "是否使用了最少必要的API调用"
}
2025年发布的ToolLLaMA-2-7b-v2在ToolBench上的表现已接近ChatGPT（turbo-16k）水平，在多工具场景中甚至有所超越。关键改进：
ToolLLaMA的开源生态适合两种变现模式：一是"私有化工具Agent"——企业在ToolLLaMA基础上注入自己的API生态微调，构建私有工具助手；二是"工具学习训练营"——围绕ToolBench/ToolLLaMA构建完整的工具Agent开发课程。
2026年5月发表的Switchcraft论文揭示了一个被忽视的问题：现有的模型路由器（如将简单查询路由到小模型、复杂查询路由到大模型）在工具调用场景下完全失效。原因是工具调用的复杂性不仅取决于查询文本，还取决于工具定义的复杂度、参数嵌套深度等维度。Switchcraft是首个专门为工具调用优化模型路由器：
graph TD
A[用户查询 + 工具Schema] --> B[特征提取器]
B --> C[查询复杂度编码]
B --> D[工具Schema复杂度编码]
B --> E[调用深度预测器]
C --> F[路由决策引擎]
D --> F
E --> F
F --> G{路由决策}
G -->|简单单轮| H[Haiku级模型]
G -->|标准多轮| I[Sonnet级模型]
G -->|嵌套复杂| J[Opus级模型]
H --> K[执行结果]
I --> K
J --> K
K --> L[成本追踪]
L --> F
论文在BFCL v4和τ-bench上的实验表明：
| 你的场景 | 推荐引擎 | 组合方案 |
|---|---|---|
| 企业内部大量重复性任务 | LATM + Switchcraft | 先用强模型批量制造工具，日常用路由器选择经济模型执行 |
| 需要人类审查工具逻辑 | CREATOR | 文档化的工具规范便于合规审查 |
| 训练自有工具使用模型 | ToolWeave + ToolLLaMA | 合成数据微调开源基座模型 |
| 快速原型验证 | Toolformer方式 | 自监督注入，无需标注数据 |
| 大规模API生态接入 | ToolLLaMA + ToolBench | 16000+ API生态，直接复用 |
| 多模型成本优化 | Switchcraft | 工具调用感知的动态路由 |
graph LR
subgraph 自造工具技术栈
A[需求分析] --> B[工具规范设计<br/>CREATOR]
B --> C[工具代码生成<br/>LATM/ToolWeave]
C --> D[自动验证<br/>沙箱执行]
D --> E[工具入库<br/>Tool Manager]
E --> F[动态路由<br/>Switchcraft]
F --> G[执行监控<br/>可观测性]
end
subgraph 训练数据飞轮
C --> H[合成数据生成<br/>ToolWeave]
H --> I[模型微调<br/>ToolLLaMA]
I --> J[工具使用能力提升]
J --> C
end
六大引擎代表了Agent工具能力的三个进化阶段：
第一代——工具调用（2023）：Toolformer为代表，模型学会在预设工具集中选择和调用。本质是"给模型一个工具箱"。
第二代——工具制造（2024）：LATM和CREATOR为代表，模型开始为特定任务类型创造可复用的工具。本质是"模型自己造工具"。
第三代——工具生态（2025-2026）：ToolWeave、Switchcraft、ToolLLaMA为代表，工具的制造、训练、路由形成完整闭环。本质是"模型自治的工具生态系统"。
这个进化路径的商业含义极为清晰：当Agent能够自主制造工具并优化工具使用策略时，企业需要的不再是"给AI配备工具"的集成工程师，而是"设计工具治理框架"的策略师。工具创造能力的民主化，正在将AI Agent从一个被动的工具使用者，转变为主动的生产力引擎。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。