首页 › ai-agents › 越想越假:工具调用捏造反比断崖

2026年的工具调用可靠性故事,是一个结构性的悖论。十八个月的定向微调、数十亿条工具使用样本、每个主流模型发布都附带专属函数调用评测——可一旦把智能体推上生产环境,它仍然会在大约二十分之一的工具调用上失手,即使用的是最强前沿模型。这不是对抗基准的极限值,而是日志里 practitioners 真实观测到的 3%–7% 地板。Berkeley Function Calling Leaderboard(BFCL)的榜单榜首尚有 88.5% 左右,Claude Opus 4.1 报 70.36%、GPT-5 报 59.22%,但真正刺眼的不是绝对值,而是一条分裂的曲线:结构性失败被受约束解码几乎抹平(违规率下降 95%+),语义性失败却纹丝不动,甚至在"让模型更聪明"的推理用力下反向恶化。

ICLR 2026 上一篇名为 The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination 的论文,把这种反比钉死成因果:训练模型推理得越狠,它捏造工具调用得越凶。本文拆解这条"结构已死、语义当立"的断层,以及把地板真正往下推的四层干预。

一、失败分类法:结构死、语义活

工具调用幻觉不是一种 bug,而是两栖动物。第一类是结构性失败:畸形的 JSON、缺右括号、把整数填成字符串、漏了必填字段、甚至编出一个 schema 里不存在的函数名。这类失败不需要精妙判断——它们是解析失败,验证器一把就能抓出来。第二类是语义性失败:JSON 完美解析,字段齐全、类型正确、函数名在注册表里合法,但选错了工具、选错了枚举值、把客户 ID 填成幻觉数字、或干脆该用工具时绕过去自己"估算"了一个答案。

这正是 cognaptus 在解读 Internal Representations as Indicators of Hallucinations in Agent Tool Selection 时强调的——简单验证只能堵住第一类,而企业级智能体极少因为拼错函数名而失败,它们栽在"选了一个看起来合理但不恰当的动作"上:转换单位转错档、把对的计算器喂错的参数、把客户请求路由进一个看起来无懈可击实则后端会爆炸的工作流。结构性失败是输出质量问题,语义性失败是动作治理问题。两者要用完全不同的杠杆撬动。

维度 结构性失败 语义性失败
典型表现 畸形 JSON、类型错、缺必填字段 值错、枚举选错、工具不恰当、绕过工具
检测难度 低(解析器/校验器即可) 高(需语义对齐)
约束解码有效性 95%+ 违规率下降,近乎归零 几乎为零
推理用力影响 微弱 反比放大(越想越编)
2026 当前地板 ≈0%(可物理消除) 3%–7%(生产实测)
基准揭示度 BFCL AST 高分掩盖 BFCL 不显,需 SimpleToolHalluBench

二、推理陷阱:想得越多,编得越狠

The Reasoning Trap 用一个诊断基准 SimpleToolHalluBench 测了两类场景:No-Tool-Available(NTA)——任务压根没有可用工具,可靠模型应拒绝,幻觉模型则凭空捏一个调用;Distractor-Tool(DT)——场上有无关干扰工具,模型应拒绝却去调了干扰项、或新发明一个工具。结论是因果性、比例性、且当前技术只能部分修复的。

模型变体 NTA 率 DT 率
Qwen2.5-7B Instruct(基线) 34.8% 54.7%
Qwen2.5-7B R1-Distill(推理 RL) 74.3% 78.7%
Qwen3-8B Think Off 4.1% 36.2%
Qwen3-8B Think On 5.4% 56.8%
Qwen3-32B Think Off 5.1% 46.6%
Qwen3-32B Think On 8.8% 50.7%
DeepSeek-671B V3(base) 10.8% 33.8%
DeepSeek-671B R1(推理) 17.6% 42.6%

最骇人的是受控消融实验:用"先思考再行动"的强化学习训练 Qwen2.5-7B,把 NTA 幻觉率从 34.8% 推到 90.2%,DT 率冲到 100.0%,与此同时任务奖励却从 0.22 升到 0.45。换句话说,模型在同一轮训练里变得更会答题、也更会编工具——它学到的不是"什么时候该停下",而是"无论有没有工具,都得交出一个看起来合理的调用"。对 Codex CLI 这类把 model_reasoning_effort 暴露成一级旋钮(none/minimal/low/medium/high/xhigh)的工作流而言,这是一条直接的工程后果:调高推理档位 = 提高捏造工具调用的风险,尤其在 MCP 挂载 50+ 工具、schema 膨胀撑大干扰面时——模型在处理第一条消息前就丢掉约 7% 的上下文。

三、表征塌缩:为什么聪明的模型反而更会编

反比的根因藏在 transformer 的内部表征里。论文用 Centered Kernel Alignment(CKA)比对模型各层在推理训练前后的表征相似度,发现了一个不对称的塌缩:分布内推理通路保持稳定(CKA > 0.9),但工具相关的表征在早、中层剧烈崩塌(CKA < 0.75)。

这意味着推理 RL 在模型内部"压扁"了工具可靠性的表征,把"该不该调用工具、有没有这个工具"的判断能力,置换成了更强的中间推理能力。模型变得既更擅长推理、也更不知道何时该停。这与"模型在说谎前内部是否知情"那条线索形成呼应:cognaptus 解读的研究表明,最终层的隐含状态里其实已经编码了不确定性和结构性不一致的信号,只是这个信号从未被外部系统读取——模型"知道"自己要发的调用可能是错的,但默认流程没有把它拦截下来。

这把问题从"模型够不够好"翻转成了"系统会不会读模型"。同样是幻觉,它的成因不是知识缺失,而是能力训练把治理表征挤出去了。靠继续加推理预算、加思维链长度去修,等于在烧同一根反向杠杆。

四、缓解的赎金:DPO 换可靠,赔掉 24% 能力

既然推理 RL 是病灶,能不能用偏好优化把幻觉拉回来?论文测了两条干预路径,结果揭示了一个无法两全的赎金:

缓解手段 NTA 率 DT 率 任务奖励
基线(ReCall-7B) 90.2% 100.0% 0.45
+ 提示工程 87.5% 98.9% 0.44
+ 直接偏好优化(DPO) 55.8% 71.4% 0.34

DPO 确实把捏造率砍了下来,但代价是任务效用从 0.45 跌到 0.34——24% 的能力损失,换来了一个仍然不算安全的幻觉地板。提示工程则几乎没动数字。这是 2026 年工具可靠性最核心的工程结论之一:当前技术只能在"可靠"和"能干"之间做交易,无法同时交付。

它的现实含义很硬:你不能指望靠调一个开关同时拿到复杂任务的高通过率和低捏造率。要么接受高推理档位带来的 fabrication 税,要么退回低推理档位并接受任务能力的折损,然后用工程护栏补差。把"模型更聪明"等同于"调用更可靠",是 2026 年最贵的幻觉之一。

五、受约束解码:物理治标,语义留底

唯一对结构性失败近乎一击必杀的杠杆是受约束解码(constrained decoding):逐 token 生成时,把词表过滤到"仅能构成合法、schema 一致 JSON 的 token"。XGrammar 把词表拆成上下文无关集(约 99%)与上下文相关集(约 1%),做到近乎零开销;SGLang 结合压缩有限状态机,给出最高 2x 延迟、2.5x 吞吐的提升。厂商侧也已成标配:OpenAI 2024 年 8 月推出 Structured Outputs,Google I/O 2024 加 response_schema,Anthropic 在 2025 年底为 Opus 4.6、Sonnet 4.5、Haiku 4.5 全面上线受约束解码。

它的效果是戏剧性的——结构违规率下降 95%+,一个该填整数却填了字符串的模型,在语法约束下"物理上做不到"。但它治的是结构,不治语义。受约束解码保证 JSON 合法且 schema 一致,不保证值正确。模型照样能编一个客户 ID、选错枚举项、误解一个含糊字段名——全程输出完美 JSON。地板从"畸形输出"平移到"语义错误输出",而后者更难撼动。这正解释了 3%–7% 的生产地板为何十八个月纹丝不动:结构性失败被消除后,剩下的全是约束解码管不到的语义层。

六、级联税:5% 单步如何滚成 40% 十步

单步准确率是多步智能体最错的指标。真正该问的是:一个 10 步工作流不因工具调用失败而中断的概率有多高?数学很残酷——单步 5% 错误率下:

P(成功) = (0.95)^10 = 0.599   →  十步任务 40% 失败
P(成功) = (0.95)^5  = 0.774   →  五步任务 23% 失败

业界报告显示约 40% 的多智能体试点在六个月内失败,工具调用可靠性是头号根因之一。最阴险的是静默级联:第 3 步一个错误的 API 调用不抛异常——它返回一个模型当成真理的响应,此后每一步推理都建在这块腐化的地基上。错误不在终点暴露,而在源头注入、沿途放大。这就是为什么 LangFuse、Arize Phoenix、Galileo 这类可观测平台把"按 session ID 串联每一步 LLM 输入输出、工具名、参数、响应、状态迁移、错误"做成了结构化 span——没有这套插桩,团队在工具失败发生时是盲飞。

值得强调的是:语义级联恰恰落在受约束解码的盲区里。约束解码保证每一步 JSON 合法,却保证不了第 3 步那个"合法的客户 ID"是不是真的存在,于是合法性成了掩盖错误的完美伪装。

七、从内部抓谎:隐状态闸门与执行时拦截

既然模型隐含状态里藏着"这个调用可能错了"的信号,那就不必等输出再校验,也不必重复采样三次——直接在执行前用轻量分类器读取最终层隐状态,做成一道执行时闸门。这条来自 Internal Representations 研究的路径,把幻觉检测从"事后比对"前移到"触发前拦截"。

其标签生成是自动的:以 Glaive Function-Calling 数据集为锚,对每条交互移除参考调用、让目标模型重生成,再把预测调用与参考比对——函数名或归一化参数不匹配即标"幻觉",匹配即标"非幻觉"。它覆盖了五类失败:

失败类型 表现 简单校验为何失效
函数选择错 调用集合外的函数 注册表只能在生成后查
函数恰当性错 函数存在但语义不对 能过 schema 校验却做错事
参数错 类型合法、值不对 验证器查类型不查值
完整性错 缺业务上下文必填项 schema 查不到业务含义
工具绕过错 直接答而不调工具 看似有用却跳过审计/授权

这道闸门的价值在于:它不依赖模型"主动承认",而是读取模型自己都没说出口的不确定性。结合前一节的级联税,执行时拦截能在错误注入下游上下文之前就把它截住——这是把 40% 十步失败率往下压的最前置一道防线。

八、工具收据:用 HMAC 锁死结果捏造

还有一种更隐蔽的幻觉:模型不编调用,而是编结果——声称调过某个工具、夸大返回的条数、把推断当成实测输出。arXiv 2603.10060《Tool Receipts, Not Zero-Knowledge Proofs》给出的解法是运行时生成 HMAC 签名的工具执行收据,模型无法伪造,再由下游交叉比对"模型声称的结果"与"收据里的真实结果"。

# 伪代码:执行收据最小骨架
import hmac, hashlib, json, time
SECRET = b"server-side-key-not-exposed-to-llm"

def execute_with_receipt(tool_name, args, runner):
    t0  = time.monotonic_ns()
    out = runner(tool_name, args)          # 真正的工具执行
    t1  = time.monotonic_ns()
    payload = json.dumps({
        "tool": tool_name, "args": args,
        "out": out, "dur_ns": t1 - t0
    }, sort_keys=True).encode()
    sig = hmac.new(SECRET, payload, hashlib.sha256).hexdigest()
    return {"result": out, "receipt": sig, "hash": hashlib.sha256(payload).hexdigest()[:12]}

收据把"模型说它做了什么"和"系统证明它做了什么"彻底解耦。模型可以叙述、可以转述,但任何对结果计数、数值、是否执行的篡改,都在比对签名时当场现形。这是针对"工具绕过"与"结果捏造"两类的硬约束——它不试图改模型,而是给执行结果套上模型无法伪造的物理凭证,把语义幻觉里最难检测的一支用密码学兜底。

flowchart LR
    U[用户意图] --> M[模型生成工具调用]
    M --> G{执行时隐状态闸门<br/>Internal-Rep 分类器}
    G -- 信号: 可疑 --> B[拦截 / 降级推理档]
    G -- 信号: 可信 --> C[受约束解码<br/>消除结构失败 95%+]
    C --> R[真实工具执行<br/>+ HMAC 收据签名]
    R --> V{收据交叉比对<br/>结果捏造?}
    V -- 签名不符 --> X[标记腐化 / 中止级联]
    V -- 通过 --> N[结果回流上下文]
    N --> M
    M -. 推理用力 ↑ .-> H[语义捏造反比 ↑<br/>Reasoning Trap]
    H -. DPO 回拉 .-> D[可靠↑ 能力↓24%]

推荐方案:按场景配置四层防线

面对"结构已死、语义当立"且推理反向烧穿的现实,2026 年生产团队收敛出的可靠性架构是分层组合,而非押注单一完美模型。

Layer 1|受约束解码(必做):用厂商原生 Structured Outputs(OpenAI/Anthropic/Gemini)或 XGrammar/SGLang 自托管,结构性失败直接归零。这是 ROI 最高、零语义副作用的一层。

Layer 2|Schema 硬化(语义主战场):枚举穷举代替自由文本、激进合并可选参数、把描述写成约束而非解释("The 12-digit numeric account identifier from the CRM, without hyphens" 而非 "The user's account identifier")、用 minimum/maximum/pattern 锁值域。MCP 把 JSON Schema 提成协议级一等公民,迁移到 MCP 的团队普遍顺带获得了可测的可靠性提升。

Layer 3|幂等工具 + 错误分类重试:让每次调用同输入同输出、无副作用,区分结构性/语义性/瞬时性错误再决定退避策略,把 40% 任务失败率压到可控。

Layer 4|执行时闸门 + 工具收据:对高后果域(金额、剂量、审计)叠加隐状态分类器拦截与 HMAC 收据比对,治约束解码管不到的语义层和结果捏造层。

按场景的取舍:简单 CRUD/查询类——低推理档 + Layer 1/2 即可,单步 93%–97% 够用;复杂多步规划——高推理档不可避免,但必须叠加 Layer 4 闸门,否则推理陷阱会把 fabrication 税顺着级联放大;高合规域(金融/医疗/法律,APEX-Agents 测出 75% 专业任务失败率的那类)——拒绝"更聪明"的诱惑,退回受约束解码 + 收据 + 人工接管缝,宁可慢、不可编。记住 DPO 的赎金:当前任何"既可靠又能干"的承诺,都还在用 24% 的能力在做抵押。

参考来源

  1. The Reasoning Trap: Why Higher Reasoning Effort Increases Tool Hallucination — ICLR 2026 论文解读,含 SimpleToolHalluBench 全模型 NTA/DT 数据、CKA 表征塌缩机制与 DPO 赎金表
  2. The Tool-Call Hallucination Plateau: Why AI Agents Still Misfire 3–7% of the Time — 3–7% 生产地板、结构/语义分裂、BFCL 榜单、受约束解码 95%+ 降幅与级联失败数学
  3. When Your Agent Knows It's Lying: Detecting Tool-Calling Hallucinations from the Inside — 隐含状态执行时闸门机制、五类工具调用失败分类法
  4. Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents (arXiv 2603.10060) — HMAC 签名工具执行收据,对抗结果捏造与执行伪造
  5. AgentHallu: Benchmarking Automated Hallucination Attribution of LLM-based Agents (arXiv 2601.06818) — 693 条高质量样本的智能体幻觉归因自动化评测基准

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入