2026年5月4日,Google悄然关闭了Project Mariner——曾被视为"AI浏览器自主操作"标杆的实验项目。它的死亡不是意外:17个月的公开测试中,独立浏览器Agent暴露出延迟高、容错差、无法处理动态内容三大致命缺陷。Mariner的关闭标志着一个转折点:纯视觉驱动的桌面自主Agent正让位于API原生与工作流嵌入的Agent架构。本文解剖Mariner之死的深层原因,实测对比OpenAI Operator、Claude Computer Use、Manus三栈仍在运行的桌面Agent,结合100次企业部署回溯数据与12家企业的171% ROI实证,给出桌面Agent从Demo走向生产的完整路线图。
Project Mariner于2025年Google I/O大会首次亮相,基于Gemini模型的视觉能力,通过实时截屏→坐标映射→鼠标点击的方式操控Chrome浏览器。其核心架构:
用户指令 → Gemini规划 → 截屏识别 → 坐标定位 → 执行点击/输入 → 循环
这种"看屏幕→操作"的模式在当时被称为"Computer Use Agent"的典型范式。Mariner能完成机票预订、表单填写、信息检索等多步骤Web任务,理论上替代了RPA(机器人流程自动化)的脚本编写环节。
Mariner运行17个月后关闭,根据多篇事后分析文章综合,核心失败原因有三:
缺陷一:视觉识别的脆弱性。Mariner依赖截屏+像素坐标映射来定位UI元素,这意味着任何CSS改动、字体变化、弹窗遮挡都会导致操作失败。一个典型案例:当目标网页弹出Cookie同意对话框时,Mariner无法关闭弹窗,后续所有操作全部偏移。相比之下,API原生的Agent(如Operator调用DOM结构)天然免疫这类视觉层干扰。
缺陷二:多步任务的错误累积。一个10步的预订流程,如果每步成功率95%,最终成功率仅为60%。Mariner没有有效的检查点-回滚机制,一旦第7步失败,前面6步的操作无法自动撤销——已经填好的表单、已经提交的订单成为"脏状态"。这与企业级工作流引擎的saga模式形成鲜明对比。
缺陷三:速度与成本的不可调和。Mariner每次截屏→Gemini推理→坐标映射的循环需要3-8秒,一个5步任务耗时30-60秒。而同等任务用Selenium+API调用可在5秒内完成。对于Google自身的产品线而言,Mariner的性价比远低于直接在Gemini中嵌入工具调用能力。
Google并未浪费Mariner的技术积累。2026年5月关闭Mariner后,其核心能力被整合进Gemini Agent Mode——不再独立运行浏览器,而是作为Gemini对话中的一个工具存在。这一转变验证了一个关键判断:桌面Agent的最佳形态不是独立产品,而是嵌入工作流的工具层。
以下对比覆盖2026年6月仍在运行的四大桌面自主Agent产品:
| 维度 | OpenAI Operator | Claude Computer Use | Manus AI | Devin (Cognition) |
|---|---|---|---|---|
| 发布时间 | 2025.01 | 2024.10 (Beta) | 2025.03 | 2024.03 |
| 操作模式 | 虚拟浏览器 (CUA) | 桌面全控制 (截图+键鼠) | 浏览器+文件系统 | 沙箱终端+编辑器 |
| 定价 | ChatGPT Pro $200/月 | API按token计费 | $39-$199/月(积分制) | $500/月起 |
| OSWorld得分 | ~45% | 未公开 | ~40% | N/A(专注代码) |
| SWE-bench | N/A | N/A | N/A | 13.86% → 提升中 |
| 适用场景 | Web任务自动化 | 桌面应用操控 | 多域通用任务 | 软件工程全流程 |
| 最大优势 | OpenAI生态集成 | 桌面级细粒度控制 | 中文生态+性价比 | 代码理解深度 |
| 最大劣势 | 仅限浏览器操作 | 需要本地运行环境 | 长任务易中断 | 价格高昂、范围窄 |
| 企业部署案例 | 中小企业为主 | 技术团队内部工具 | 中国市场为主 | 软件公司试点 |
Operator是OpenAI在2026年初推出的自主Web操作Agent,运行在OpenAI托管的虚拟浏览器中。用户给定任务(如"帮我找最便宜的北京-上海机票"),Operator自动打开浏览器、导航到对应网站、完成搜索和比较。
架构核心:Operator使用CUA(Computer Using Agent)模型,不同于Mariner的纯视觉方案,Operator同时读取DOM结构和视觉截屏,双通道交叉验证操作目标。这使其在表单填写、按钮点击的准确率上显著高于纯视觉方案。
# Operator API调用示例(伪代码)
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="computer-use-preview",
tools=[{
"type": "computer_use_preview",
"display_width": 1280,
"display_height": 720
}],
input=[
{"role": "user", "content": "在Amazon上搜索'机械键盘',按价格排序,把前3个加入购物车"}
]
)
# Operator返回每一步操作的截图和action日志
for action in response.output:
print(f"Action: {action.type}, Target: {action.target}")
实测表现:在标准Web任务测试中,Operator完成5步以内任务的成功率约80%,但超过8步后降至50%以下。关键瓶颈在于CAPTCHA和反bot检测——约30%的电商网站会触发人机验证,Operator目前无法绕过。
Anthropic的Computer Use采取了最激进的路径——直接控制用户的桌面环境(Mac/Windows/Linux)。不同于Operator的虚拟浏览器,Claude看到的是真实屏幕,操作的是真实鼠标和键盘。
架构核心:Anthropic在2026年3月的更新中引入了Programmatic Tool Calling和Advisor Strategy,使Computer Use Agent具备了两项关键能力:
# Claude Computer Use API示例
import anthropic
client = anthropic.Anthropic()
response = client.beta.messages.create(
model="claude-sonnet-4-6",
betas=["computer-use-2025-01-24"],
tools=[
{
"type": "computer_20250124",
"name": "computer",
"display_width_px": 1920,
"display_height_px": 1080
},
{
"type": "text_editor_20250409",
"name": "str_replace_editor"
},
{
"type": "bash_20250124",
"name": "bash"
}
],
messages=[{
"role": "user",
"content": "打开Excel,读取A1到D20的数据,计算每列的平均值,写入D21"
}]
)
实测表现:Computer Use在桌面应用操作中表现最佳,尤其是在Excel/PowerPoint等Office套件中。其优势在于不依赖Web API,可以操作任何桌面应用。但代价是需要本地运行环境,且对屏幕分辨率、DPI缩放敏感——在高DPI显示器上坐标偏移是常见问题。
Manus由Butterfly Effect(蝴蝶效应)公司开发,2025年初以病毒式传播进入全球视野。2026年初,Meta以约20亿美元收购了Manus背后的团队。Manus的核心定位是"通用自主Agent"——不限于浏览器或桌面,而是同时操作浏览器、文件系统和代码执行环境。
架构核心:Manus采用"沙箱+多工具"架构。每个任务在一个隔离沙箱中执行,Agent同时拥有浏览器控制、文件读写、代码执行三种能力。这使得Manus能完成跨域任务,如"调研某个主题→生成报告→导出PDF"。
实测表现:Manus在GAIA基准测试中取得了领先分数,尤其在需要多步推理和信息整合的任务中表现出色。但在纯代码任务上不如Devin,在桌面精细操作上不如Claude Computer Use。其积分制定价($39/月获得有限积分,$199/月获得完整权限)在中小企业市场有较强吸引力。
Devin是Cognition AI推出的"全球首个自主AI软件工程师",在独立沙箱中运行完整的开发环境(终端+编辑器+浏览器)。Devin的SWE-bench得分为13.86%(Verified子集),虽然绝对值不高,但它是首批在真实GitHub Issue上端到端完成修复的Agent之一。
核心问题:Devin面临三重挑战——
Devin的生存策略正在转向企业定制化——为大型软件公司提供"专属Devin实例",接入内部代码库和CI/CD流水线。
根据Digital Applied对H1 2026年100次Agentic AI部署的回溯分析,桌面/浏览器Agent在企业中的实际部署模式清晰浮现:
graph TD
A[100次Agentic AI部署] --> B[编排器主导型 42%]
A --> C[工具增强型 28%]
A --> D[桌面自主型 18%]
A --> E[纯对话型 12%]
B --> B1[成功率: 78%]
B --> B2[平均回本: 6个月]
C --> C1[成功率: 71%]
C --> C2[平均回本: 7个月]
D --> D1[成功率: 44%]
D --> D2[平均回本: 11个月]
E --> E1[成功率: 65%]
E --> E2[平均回本: 8个月]
style D fill:#ff9999
style D1 fill:#ff9999
style D2 fill:#ff9999
关键发现:桌面自主型Agent(Desktop Autonomous)成功率仅44%,远低于编排器主导型的78%。但成功部署的桌面Agent平均ROI最高(220%),因为它们替代的是最高成本的重复性桌面操作。
The Operator Collective在2026年5月发表的"AI Agent Failures: 10 Lessons"报告,总结了62%实验→14%生产的差距根源:
| # | 失败模式 | 占比 | 典型表现 |
|---|---|---|---|
| 1 | Token消耗失控 | 23% | 单次任务消耗$50+ token,ROI为负 |
| 2 | 幻觉级操作 | 19% | Agent点击不存在的按钮、填写错误数据 |
| 3 | 上下文窗口溢出 | 16% | 长任务中Agent"忘记"初始目标 |
| 4 | 错误传播无回滚 | 14% | 第N步失败后无法恢复到干净状态 |
| 5 | 权限边界缺失 | 11% | Agent执行了超出预期范围的破坏性操作 |
| 6 | 反bot检测拦截 | 9% | 目标网站触发CAPTCHA或封禁 |
| 7 | 环境依赖脆弱 | 8% | 分辨率变化、软件更新导致操作失效 |
| 8 | 人机协作断裂 | 7% | 用户不知道Agent在做什么、为什么停下来 |
| 9 | 评估体系缺失 | 6% | 没有量化指标判断Agent是否"工作正常" |
| 10 | 合规与审计空白 | 5% | 无法追溯Agent的操作日志用于合规审查 |
最致命的组合:Token消耗失控 + 幻觉级操作(占失败案例的38%)。这意味着Agent一边大量消耗资源,一边做出错误操作——双倍浪费。
桌面Agent要真正自主,必须解决记忆问题。2026年四大记忆基础设施已形成清晰分层:
| 维度 | Letta (MemGPT) | Mem0 | Zep | LangMem |
|---|---|---|---|---|
| 架构范式 | LLM-as-OS | 被动提取层 | 图+向量混合 | LangChain原生 |
| 记忆类型 | 自管理分层记忆 | 自动摘要+实体 | 对话图谱+时序 | 滑动窗口+压缩 |
| Agent自编辑 | ✅ Agent主动写入 | ❌ 系统自动提取 | ✅ 双向读写 | ❌ 被动管理 |
| 生产就绪度 | 高 (0.5.x稳定版) | 高 | 中-高 | 中 |
| 适合场景 | 长期自主Agent | 客服/对话Agent | 复杂关系推理 | LangChain生态内 |
| 定价模式 | 开源+托管服务 | API按量计费 | 开源+企业版 | 开源 |
| 锁入风险 | 中 | 高 | 低 | 高 (LangChain) |
Letta(前身MemGPT)提出了一种革命性的记忆架构——让Agent自己管理记忆,而不是由外部系统被动注入。在Letta的"LLM-as-OS"模型中,Agent将自身记忆分为三层:
# Letta Agent记忆架构示意
from letta import create_client
client = create_client()
agent = client.create_agent(
name="persistent-assistant",
# 核心记忆层 (Core Memory) - 始终在上下文中
# 类似操作系统的RAM
memory_blocks=[
{"label": "persona", "value": "我是用户的个人助理,偏好简洁回复"},
{"label": "user_info", "value": "用户名: 张三, 角色: 产品经理"}
],
# 归档记忆 (Archival Memory) - 向量存储,按需检索
# 类似操作系统的硬盘
# 对话历史自动归档
)
# Agent执行任务时会自主决定:
# 1. 什么信息值得存入核心记忆
# 2. 什么信息可以归档
# 3. 何时从归档中检索历史信息
response = client.send_message(
agent_id=agent.id,
message="帮我整理上周的会议纪要并提取行动项",
role="user"
)
关键优势:Agent可以主动修改自己的核心记忆(Core Memory),这意味着Agent能"学习"用户的偏好和工作模式。例如,Agent发现用户每次都要求"用中文回复",就会把这个偏好写入核心记忆,后续对话无需重复说明。
Mem0走了一条更务实的路线——不要求Agent主动管理记忆,而是在每次对话后自动提取关键信息(用户偏好、事实、实体关系)存入向量数据库。下次对话时,系统自动检索相关记忆注入上下文。
适用场景:客服Agent是Mem0的最佳用例。用户不需要"教会"Agent记住自己的订单历史或退货偏好——Mem0自动从对话中提取并持久化。但缺点是Agent无法主动"遗忘"或"修正"错误记忆。
根据Beri.net对12家企业Agentic AI部署的ROI分析,平均回报率171%,中位数回本周期8个月。但桌面自主Agent的ROI分布严重偏斜——成功的案例回报极高,失败的案例血本无归。
| 企业 | Agent类型 | 年化节省 | 投入成本 | ROI | 回本期 |
|---|---|---|---|---|---|
| Klarna | 对话+工作流 | $60M | 未公开 | 极高 | <6月 |
| JPMorgan | 多类混合(450+用例) | 360K+工时/年 | $50M+ | ~180% | 9月 |
| Walmart | 供应链Agent | $12M | $8M | 150% | 10月 |
| 一家保险SaaS | 桌面自动化Agent | $3.2M | $1.1M | 191% | 7月 |
| 一家物流公司 | 浏览器RPA替代 | $0.8M | $0.6M | 133% | 11月 |
Klarna的AI Agent部署是2026年最常被引用的成功案例。到2025年Q3,Klarna的AI Agent已处理相当于853名全职客服的工作量,节省$60M年度运营成本。其核心架构并非纯桌面自主Agent,而是对话入口+工具调用+人工兜底的混合模式:
sequenceDiagram
participant U as 用户
participant AI as Klarna AI Agent
participant T as 工具层
participant H as 人工客服
U->>AI: 退款查询
AI->>T: 调用订单系统API
T-->>AI: 订单状态+退款进度
AI->>AI: 判断是否需要人工
alt 简单查询
AI-->>U: 直接回复退款进度
else 复杂争议
AI->>H: 转人工+摘要上下文
H-->>U: 人工处理退款
end
关键设计:Klarna没有让Agent"自由发挥",而是严格限定了Agent的操作边界——Agent只能通过预定义的API与后端系统交互,不能直接操作数据库或绕过业务规则。这种"约束下的自主"正是桌面Agent走向生产的关键原则。
一家未公开名称的保险SaaS公司用桌面Agent替代了内部员工在遗留系统中的重复操作。具体场景:员工需要将CRM系统中的客户信息手动复制到核保系统中,每次操作耗时15-20分钟,每天约200次。
技术方案:Claude Computer Use + 自定义检查点机制。Agent在每一步操作后截图存证,如果后续步骤失败,可以从最近的检查点恢复。这使得10步操作的成功率从单步95%累积的60%提升到了92%。
ROI计算: - 年化节省:200次/天 × 20分钟/次 × 260工作日 ÷ 60 = 17,333工时/年 - 按内部成本$40/小时计算:$693K/年 - 加上错误减少带来的返工节省:总计$3.2M/年 - 投入:API费用+$60K定制开发 = $1.1M - ROI:191%,回本期7个月
综合100次部署回溯、12家企业ROI数据和10大失败模式,桌面自主Agent要从Demo走向生产,必须满足六个条件:
桌面Agent的每一步操作都应该有检查点。这不是奢侈品,是必需品。没有回滚机制的桌面Agent就像没有版本控制的代码——出错后只能从头来过。实际实现中,最有效的方式是操作前截图+操作后截图对比,配合应用层的Undo操作。
每个任务必须设定token消耗上限。超过上限自动停止并报告。这看似简单,但在100次部署中,23%的失败案例就是因为token消耗失控。设置方式:
# Token预算控制伪代码
MAX_TOKENS_PER_TASK = 50000 # 约$0.15 (Claude Sonnet)
MAX_STEPS_PER_TASK = 20
task_context = {
"tokens_used": 0,
"steps_completed": 0,
"max_tokens": MAX_TOKENS_PER_TASK,
"max_steps": MAX_STEPS_PER_TASK,
"checkpoints": []
}
def should_continue(task_context):
if task_context["tokens_used"] > task_context["max_tokens"]:
return False, "Token budget exceeded"
if task_context["steps_completed"] > task_context["max_steps"]:
return False, "Step limit exceeded"
return True, "OK"
不是每一步都需要人工确认,但破坏性操作(删除、发送、支付)必须在执行前获得人工批准。Claude的Advisor Strategy就是这一原则的体现。
每一次点击、每一次键盘输入都必须记录时间戳、截图、操作意图。这不只是为了调试,更是为了合规。金融、医疗等行业的桌面Agent没有审计追踪就无法上线。
桌面Agent对运行环境的依赖是其最大的脆弱点。生产级Agent必须有环境适配层:自动检测屏幕分辨率和DPI缩放、适应软件版本差异、处理多显示器布局。
最被低估的条件。100次部署中,成功项目100%有定量的评估体系——每次操作的成功率、平均耗时、token消耗、用户满意度。没有评估的Agent部署就像没有监控的微服务——出了问题你甚至不知道。
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| Web表单批量填写 | OpenAI Operator | 虚拟浏览器隔离、反bot处理较好 |
| Office文档自动化 | Claude Computer Use | 原生桌面控制、API+视觉双通道 |
| 中国市场通用任务 | Manus AI | 中文理解最强、性价比高 |
| 软件工程自动化 | Devin或Claude Code | Devin适合独立沙箱、Claude Code适合IDE集成 |
| 企业客服自动化 | 不用桌面Agent,用对话+工具调用 | Klarna证明了混合模式的ROI远高于纯自主 |
| 遗留系统桥接 | Claude Computer Use + 检查点 | 遗留系统无API时的唯一选择 |
| 跨平台数据处理 | Manus AI | 浏览器+文件系统+代码三合一 |
桌面自主Agent在2026年H1已经过了"万物皆可自主"的泡沫期。Mariner之死是一个清晰的信号:纯视觉驱动的通用桌面Agent作为独立产品行不通。但桌面Agent的"能力"——视觉识别、桌面控制、多步推理——正在被拆解为工具层,嵌入到更具体的垂直工作流中。
对于想要部署桌面Agent的团队,核心建议是:不要试图构建一个"什么都能做"的自主Agent,而是为一个具体场景构建一个"有边界、有记忆、有回滚"的受控Agent。成功率44%→78%的差距,就在于这个"受控"二字。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
