首页 › ai-agents › 桌面Agent四栈生死:Mariner之死与Computer Use出路

概述

2026年5月4日,Google悄然关闭了Project Mariner——曾被视为"AI浏览器自主操作"标杆的实验项目。它的死亡不是意外:17个月的公开测试中,独立浏览器Agent暴露出延迟高、容错差、无法处理动态内容三大致命缺陷。Mariner的关闭标志着一个转折点:纯视觉驱动的桌面自主Agent正让位于API原生与工作流嵌入的Agent架构。本文解剖Mariner之死的深层原因,实测对比OpenAI Operator、Claude Computer Use、Manus三栈仍在运行的桌面Agent,结合100次企业部署回溯数据与12家企业的171% ROI实证,给出桌面Agent从Demo走向生产的完整路线图。


一、Mariner之死:独立浏览器Agent为何失败

1.1 Mariner的技术路径

Project Mariner于2025年Google I/O大会首次亮相,基于Gemini模型的视觉能力,通过实时截屏→坐标映射→鼠标点击的方式操控Chrome浏览器。其核心架构:

用户指令 → Gemini规划 → 截屏识别 → 坐标定位 → 执行点击/输入 → 循环

这种"看屏幕→操作"的模式在当时被称为"Computer Use Agent"的典型范式。Mariner能完成机票预订、表单填写、信息检索等多步骤Web任务,理论上替代了RPA(机器人流程自动化)的脚本编写环节。

1.2 三个致命缺陷

Mariner运行17个月后关闭,根据多篇事后分析文章综合,核心失败原因有三:

缺陷一:视觉识别的脆弱性。Mariner依赖截屏+像素坐标映射来定位UI元素,这意味着任何CSS改动、字体变化、弹窗遮挡都会导致操作失败。一个典型案例:当目标网页弹出Cookie同意对话框时,Mariner无法关闭弹窗,后续所有操作全部偏移。相比之下,API原生的Agent(如Operator调用DOM结构)天然免疫这类视觉层干扰。

缺陷二:多步任务的错误累积。一个10步的预订流程,如果每步成功率95%,最终成功率仅为60%。Mariner没有有效的检查点-回滚机制,一旦第7步失败,前面6步的操作无法自动撤销——已经填好的表单、已经提交的订单成为"脏状态"。这与企业级工作流引擎的saga模式形成鲜明对比。

缺陷三:速度与成本的不可调和。Mariner每次截屏→Gemini推理→坐标映射的循环需要3-8秒,一个5步任务耗时30-60秒。而同等任务用Selenium+API调用可在5秒内完成。对于Google自身的产品线而言,Mariner的性价比远低于直接在Gemini中嵌入工具调用能力。

1.3 Mariner的遗产

Google并未浪费Mariner的技术积累。2026年5月关闭Mariner后,其核心能力被整合进Gemini Agent Mode——不再独立运行浏览器,而是作为Gemini对话中的一个工具存在。这一转变验证了一个关键判断:桌面Agent的最佳形态不是独立产品,而是嵌入工作流的工具层。


二、四栈桌面Agent实测对比

以下对比覆盖2026年6月仍在运行的四大桌面自主Agent产品:

维度 OpenAI Operator Claude Computer Use Manus AI Devin (Cognition)
发布时间 2025.01 2024.10 (Beta) 2025.03 2024.03
操作模式 虚拟浏览器 (CUA) 桌面全控制 (截图+键鼠) 浏览器+文件系统 沙箱终端+编辑器
定价 ChatGPT Pro $200/月 API按token计费 $39-$199/月(积分制) $500/月起
OSWorld得分 ~45% 未公开 ~40% N/A(专注代码)
SWE-bench N/A N/A N/A 13.86% → 提升中
适用场景 Web任务自动化 桌面应用操控 多域通用任务 软件工程全流程
最大优势 OpenAI生态集成 桌面级细粒度控制 中文生态+性价比 代码理解深度
最大劣势 仅限浏览器操作 需要本地运行环境 长任务易中断 价格高昂、范围窄
企业部署案例 中小企业为主 技术团队内部工具 中国市场为主 软件公司试点

2.1 OpenAI Operator:浏览器内的"代理用户"

Operator是OpenAI在2026年初推出的自主Web操作Agent,运行在OpenAI托管的虚拟浏览器中。用户给定任务(如"帮我找最便宜的北京-上海机票"),Operator自动打开浏览器、导航到对应网站、完成搜索和比较。

架构核心:Operator使用CUA(Computer Using Agent)模型,不同于Mariner的纯视觉方案,Operator同时读取DOM结构和视觉截屏,双通道交叉验证操作目标。这使其在表单填写、按钮点击的准确率上显著高于纯视觉方案。

# Operator API调用示例(伪代码)
from openai import OpenAI

client = OpenAI()
response = client.responses.create(
    model="computer-use-preview",
    tools=[{
        "type": "computer_use_preview",
        "display_width": 1280,
        "display_height": 720
    }],
    input=[
        {"role": "user", "content": "在Amazon上搜索'机械键盘',按价格排序,把前3个加入购物车"}
    ]
)
# Operator返回每一步操作的截图和action日志
for action in response.output:
    print(f"Action: {action.type}, Target: {action.target}")

实测表现:在标准Web任务测试中,Operator完成5步以内任务的成功率约80%,但超过8步后降至50%以下。关键瓶颈在于CAPTCHA和反bot检测——约30%的电商网站会触发人机验证,Operator目前无法绕过。

2.2 Claude Computer Use:桌面级的精细操控

Anthropic的Computer Use采取了最激进的路径——直接控制用户的桌面环境(Mac/Windows/Linux)。不同于Operator的虚拟浏览器,Claude看到的是真实屏幕,操作的是真实鼠标和键盘。

架构核心:Anthropic在2026年3月的更新中引入了Programmatic Tool Calling和Advisor Strategy,使Computer Use Agent具备了两项关键能力:

  1. 程序化调用:Agent可以将高频操作(如"点击菜单栏File→Save")编译成可复用的宏,避免每次截屏识别
  2. 顾问策略:在执行敏感操作前(如删除文件、发送邮件),Agent主动暂停并请用户确认
# Claude Computer Use API示例
import anthropic

client = anthropic.Anthropic()
response = client.beta.messages.create(
    model="claude-sonnet-4-6",
    betas=["computer-use-2025-01-24"],
    tools=[
        {
            "type": "computer_20250124",
            "name": "computer",
            "display_width_px": 1920,
            "display_height_px": 1080
        },
        {
            "type": "text_editor_20250409",
            "name": "str_replace_editor"
        },
        {
            "type": "bash_20250124",
            "name": "bash"
        }
    ],
    messages=[{
        "role": "user",
        "content": "打开Excel,读取A1到D20的数据,计算每列的平均值,写入D21"
    }]
)

实测表现:Computer Use在桌面应用操作中表现最佳,尤其是在Excel/PowerPoint等Office套件中。其优势在于不依赖Web API,可以操作任何桌面应用。但代价是需要本地运行环境,且对屏幕分辨率、DPI缩放敏感——在高DPI显示器上坐标偏移是常见问题。

2.3 Manus AI:中国自主Agent的代表

Manus由Butterfly Effect(蝴蝶效应)公司开发,2025年初以病毒式传播进入全球视野。2026年初,Meta以约20亿美元收购了Manus背后的团队。Manus的核心定位是"通用自主Agent"——不限于浏览器或桌面,而是同时操作浏览器、文件系统和代码执行环境。

架构核心:Manus采用"沙箱+多工具"架构。每个任务在一个隔离沙箱中执行,Agent同时拥有浏览器控制、文件读写、代码执行三种能力。这使得Manus能完成跨域任务,如"调研某个主题→生成报告→导出PDF"。

实测表现:Manus在GAIA基准测试中取得了领先分数,尤其在需要多步推理和信息整合的任务中表现出色。但在纯代码任务上不如Devin,在桌面精细操作上不如Claude Computer Use。其积分制定价($39/月获得有限积分,$199/月获得完整权限)在中小企业市场有较强吸引力。

2.4 Devin:自主软件工程师的生存困境

Devin是Cognition AI推出的"全球首个自主AI软件工程师",在独立沙箱中运行完整的开发环境(终端+编辑器+浏览器)。Devin的SWE-bench得分为13.86%(Verified子集),虽然绝对值不高,但它是首批在真实GitHub Issue上端到端完成修复的Agent之一。

核心问题:Devin面临三重挑战——

  1. 性价比危机:$500/月的定价远高于Cursor+Claude Code的组合(约$40/月),但实际编码质量差距正在缩小
  2. 范围局限:Devin专注于代码,无法处理部署、监控、运维等上下游任务
  3. 竞品围攻:Claude Code、Cursor Agent Mode、GitHub Copilot Workspace都在蚕食Devin的市场

Devin的生存策略正在转向企业定制化——为大型软件公司提供"专属Devin实例",接入内部代码库和CI/CD流水线。


三、100次部署回溯:桌面Agent的生产真相

3.1 部署全景图

根据Digital Applied对H1 2026年100次Agentic AI部署的回溯分析,桌面/浏览器Agent在企业中的实际部署模式清晰浮现:

graph TD
    A[100次Agentic AI部署] --> B[编排器主导型 42%]
    A --> C[工具增强型 28%]
    A --> D[桌面自主型 18%]
    A --> E[纯对话型 12%]

    B --> B1[成功率: 78%]
    B --> B2[平均回本: 6个月]

    C --> C1[成功率: 71%]
    C --> C2[平均回本: 7个月]

    D --> D1[成功率: 44%]
    D --> D2[平均回本: 11个月]

    E --> E1[成功率: 65%]
    E --> E2[平均回本: 8个月]

    style D fill:#ff9999
    style D1 fill:#ff9999
    style D2 fill:#ff9999

关键发现:桌面自主型Agent(Desktop Autonomous)成功率仅44%,远低于编排器主导型的78%。但成功部署的桌面Agent平均ROI最高(220%),因为它们替代的是最高成本的重复性桌面操作。

3.2 十大失败模式

The Operator Collective在2026年5月发表的"AI Agent Failures: 10 Lessons"报告,总结了62%实验→14%生产的差距根源:

# 失败模式 占比 典型表现
1 Token消耗失控 23% 单次任务消耗$50+ token,ROI为负
2 幻觉级操作 19% Agent点击不存在的按钮、填写错误数据
3 上下文窗口溢出 16% 长任务中Agent"忘记"初始目标
4 错误传播无回滚 14% 第N步失败后无法恢复到干净状态
5 权限边界缺失 11% Agent执行了超出预期范围的破坏性操作
6 反bot检测拦截 9% 目标网站触发CAPTCHA或封禁
7 环境依赖脆弱 8% 分辨率变化、软件更新导致操作失效
8 人机协作断裂 7% 用户不知道Agent在做什么、为什么停下来
9 评估体系缺失 6% 没有量化指标判断Agent是否"工作正常"
10 合规与审计空白 5% 无法追溯Agent的操作日志用于合规审查

最致命的组合:Token消耗失控 + 幻觉级操作(占失败案例的38%)。这意味着Agent一边大量消耗资源,一边做出错误操作——双倍浪费。


四、Agent记忆基础设施:从失忆到持久

桌面Agent要真正自主,必须解决记忆问题。2026年四大记忆基础设施已形成清晰分层:

4.1 四栈记忆架构对比

维度 Letta (MemGPT) Mem0 Zep LangMem
架构范式 LLM-as-OS 被动提取层 图+向量混合 LangChain原生
记忆类型 自管理分层记忆 自动摘要+实体 对话图谱+时序 滑动窗口+压缩
Agent自编辑 ✅ Agent主动写入 ❌ 系统自动提取 ✅ 双向读写 ❌ 被动管理
生产就绪度 高 (0.5.x稳定版) 高 中-高 中
适合场景 长期自主Agent 客服/对话Agent 复杂关系推理 LangChain生态内
定价模式 开源+托管服务 API按量计费 开源+企业版 开源
锁入风险 中 高 低 高 (LangChain)

4.2 Letta:Agent自管理记忆的范式突破

Letta(前身MemGPT)提出了一种革命性的记忆架构——让Agent自己管理记忆,而不是由外部系统被动注入。在Letta的"LLM-as-OS"模型中,Agent将自身记忆分为三层:

# Letta Agent记忆架构示意
from letta import create_client

client = create_client()
agent = client.create_agent(
    name="persistent-assistant",
    # 核心记忆层 (Core Memory) - 始终在上下文中
    # 类似操作系统的RAM
    memory_blocks=[
        {"label": "persona", "value": "我是用户的个人助理,偏好简洁回复"},
        {"label": "user_info", "value": "用户名: 张三, 角色: 产品经理"}
    ],
    # 归档记忆 (Archival Memory) - 向量存储,按需检索
    # 类似操作系统的硬盘
    # 对话历史自动归档
)

# Agent执行任务时会自主决定:
# 1. 什么信息值得存入核心记忆
# 2. 什么信息可以归档
# 3. 何时从归档中检索历史信息
response = client.send_message(
    agent_id=agent.id,
    message="帮我整理上周的会议纪要并提取行动项",
    role="user"
)

关键优势:Agent可以主动修改自己的核心记忆(Core Memory),这意味着Agent能"学习"用户的偏好和工作模式。例如,Agent发现用户每次都要求"用中文回复",就会把这个偏好写入核心记忆,后续对话无需重复说明。

4.3 Mem0:被动提取的实用主义

Mem0走了一条更务实的路线——不要求Agent主动管理记忆,而是在每次对话后自动提取关键信息(用户偏好、事实、实体关系)存入向量数据库。下次对话时,系统自动检索相关记忆注入上下文。

适用场景:客服Agent是Mem0的最佳用例。用户不需要"教会"Agent记住自己的订单历史或退货偏好——Mem0自动从对话中提取并持久化。但缺点是Agent无法主动"遗忘"或"修正"错误记忆。


五、企业ROI实证:谁在桌面Agent上赚到了钱

5.1 12家企业ROI数据

根据Beri.net对12家企业Agentic AI部署的ROI分析,平均回报率171%,中位数回本周期8个月。但桌面自主Agent的ROI分布严重偏斜——成功的案例回报极高,失败的案例血本无归。

企业 Agent类型 年化节省 投入成本 ROI 回本期
Klarna 对话+工作流 $60M 未公开 极高 <6月
JPMorgan 多类混合(450+用例) 360K+工时/年 $50M+ ~180% 9月
Walmart 供应链Agent $12M $8M 150% 10月
一家保险SaaS 桌面自动化Agent $3.2M $1.1M 191% 7月
一家物流公司 浏览器RPA替代 $0.8M $0.6M 133% 11月

5.2 Klarna案例深度拆解

Klarna的AI Agent部署是2026年最常被引用的成功案例。到2025年Q3,Klarna的AI Agent已处理相当于853名全职客服的工作量,节省$60M年度运营成本。其核心架构并非纯桌面自主Agent,而是对话入口+工具调用+人工兜底的混合模式:

sequenceDiagram
    participant U as 用户
    participant AI as Klarna AI Agent
    participant T as 工具层
    participant H as 人工客服

    U->>AI: 退款查询
    AI->>T: 调用订单系统API
    T-->>AI: 订单状态+退款进度
    AI->>AI: 判断是否需要人工

    alt 简单查询
        AI-->>U: 直接回复退款进度
    else 复杂争议
        AI->>H: 转人工+摘要上下文
        H-->>U: 人工处理退款
    end

关键设计:Klarna没有让Agent"自由发挥",而是严格限定了Agent的操作边界——Agent只能通过预定义的API与后端系统交互,不能直接操作数据库或绕过业务规则。这种"约束下的自主"正是桌面Agent走向生产的关键原则。

5.3 保险SaaS的桌面Agent实践

一家未公开名称的保险SaaS公司用桌面Agent替代了内部员工在遗留系统中的重复操作。具体场景:员工需要将CRM系统中的客户信息手动复制到核保系统中,每次操作耗时15-20分钟,每天约200次。

技术方案:Claude Computer Use + 自定义检查点机制。Agent在每一步操作后截图存证,如果后续步骤失败,可以从最近的检查点恢复。这使得10步操作的成功率从单步95%累积的60%提升到了92%。

ROI计算: - 年化节省:200次/天 × 20分钟/次 × 260工作日 ÷ 60 = 17,333工时/年 - 按内部成本$40/小时计算:$693K/年 - 加上错误减少带来的返工节省:总计$3.2M/年 - 投入:API费用+$60K定制开发 = $1.1M - ROI:191%,回本期7个月


六、从Demo到生产:桌面Agent的六个必选项

综合100次部署回溯、12家企业ROI数据和10大失败模式,桌面自主Agent要从Demo走向生产,必须满足六个条件:

6.1 检查点-回滚机制

桌面Agent的每一步操作都应该有检查点。这不是奢侈品,是必需品。没有回滚机制的桌面Agent就像没有版本控制的代码——出错后只能从头来过。实际实现中,最有效的方式是操作前截图+操作后截图对比,配合应用层的Undo操作。

6.2 Token预算上限

每个任务必须设定token消耗上限。超过上限自动停止并报告。这看似简单,但在100次部署中,23%的失败案例就是因为token消耗失控。设置方式:

# Token预算控制伪代码
MAX_TOKENS_PER_TASK = 50000  # 约$0.15 (Claude Sonnet)
MAX_STEPS_PER_TASK = 20

task_context = {
    "tokens_used": 0,
    "steps_completed": 0,
    "max_tokens": MAX_TOKENS_PER_TASK,
    "max_steps": MAX_STEPS_PER_TASK,
    "checkpoints": []
}

def should_continue(task_context):
    if task_context["tokens_used"] > task_context["max_tokens"]:
        return False, "Token budget exceeded"
    if task_context["steps_completed"] > task_context["max_steps"]:
        return False, "Step limit exceeded"
    return True, "OK"

6.3 人机协作节点

不是每一步都需要人工确认,但破坏性操作(删除、发送、支付)必须在执行前获得人工批准。Claude的Advisor Strategy就是这一原则的体现。

6.4 操作日志与审计追踪

每一次点击、每一次键盘输入都必须记录时间戳、截图、操作意图。这不只是为了调试,更是为了合规。金融、医疗等行业的桌面Agent没有审计追踪就无法上线。

6.5 环境适配层

桌面Agent对运行环境的依赖是其最大的脆弱点。生产级Agent必须有环境适配层:自动检测屏幕分辨率和DPI缩放、适应软件版本差异、处理多显示器布局。

6.6 评估驱动的迭代

最被低估的条件。100次部署中,成功项目100%有定量的评估体系——每次操作的成功率、平均耗时、token消耗、用户满意度。没有评估的Agent部署就像没有监控的微服务——出了问题你甚至不知道。


七、推荐方案:按场景选择桌面Agent

场景 推荐方案 理由
Web表单批量填写 OpenAI Operator 虚拟浏览器隔离、反bot处理较好
Office文档自动化 Claude Computer Use 原生桌面控制、API+视觉双通道
中国市场通用任务 Manus AI 中文理解最强、性价比高
软件工程自动化 Devin或Claude Code Devin适合独立沙箱、Claude Code适合IDE集成
企业客服自动化 不用桌面Agent,用对话+工具调用 Klarna证明了混合模式的ROI远高于纯自主
遗留系统桥接 Claude Computer Use + 检查点 遗留系统无API时的唯一选择
跨平台数据处理 Manus AI 浏览器+文件系统+代码三合一

终极建议

桌面自主Agent在2026年H1已经过了"万物皆可自主"的泡沫期。Mariner之死是一个清晰的信号:纯视觉驱动的通用桌面Agent作为独立产品行不通。但桌面Agent的"能力"——视觉识别、桌面控制、多步推理——正在被拆解为工具层,嵌入到更具体的垂直工作流中。

对于想要部署桌面Agent的团队,核心建议是:不要试图构建一个"什么都能做"的自主Agent,而是为一个具体场景构建一个"有边界、有记忆、有回滚"的受控Agent。成功率44%→78%的差距,就在于这个"受控"二字。


参考来源

  1. The Google Mariner Post-Mortem — Why Standalone Browser Agents Failed — 详细分析Mariner关闭原因、技术缺陷和行业影响
  2. Agentic AI H1 2026 Retrospective: 100 Deployments Analyzed — 100次企业部署的回溯分析,覆盖成功率、架构模式和治理实践
  3. AI Agent Failures: 10 Lessons From Agents That Crashed and Burned — 10大失败模式、14%生产率的根源分析和修复建议
  4. Agentic AI ROI: 12 Cases Show 171% Returns, $83M Saved — Klarna、JPMorgan等12家企业的ROI实证数据
  5. Agent Long-Term Memory in 2026: Letta, Mem0, Zep, and LangMem Compared — 四大记忆基础设施的架构对比和选型决策框架

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入