手机操控智能体在2026年走到了一个分水岭：Google DeepMind的AndroidWorld基准已被SOTA框架逼近饱和，通义实验室的MobileWorld（201任务、20个App）以Agent-User交互和MCP工具增强重新拉开难度差，阿里Mobile-Agent-v3在AndroidWorld刷到73.3分。但更值得关注的不是榜单数字，而是技术范式的内部分裂——纯像素级GUI操作的native agent（字节UI-TARS-2、阿里GUI-Owl）与MCP工具调用（mobile-mcp）正在争夺手机操控的底层接口，grounding基础模型（OS-Atlas、SeeClick）与强化学习训练（DigiRL、UI-R1）则决定了上限。本文横评六栈，拆解从截图感知到长程跨App执行的完整链路与塌方点。 ## 六栈对比总览 | 框架/工具 | 出品方 | 核心数据 | 技术路线 | 上手/变现 | |------|------|------|------|------| | Mobile-Agent-v3 | 阿里X-PLUG | AndroidWorld 73.3 / OSWorld 37.7 | 多智能体+GUI-Owl基础模型 | 开源，跨平台，可包装为RPA训练营 | | UI-TARS-2 | 字节跳动 | 10+基准SOTA，2025.09发布 | 端到端native agent，仅看截图 | 模型开源，端到端调用简单 | | AppAgent v2 | 腾讯QQGYLab | 探索+部署两阶段 | learn-then-act知识库 | 学习曲线平缓，适合私有App | | OS-Atlas / SeeClick | OS-Copilot / 南京大学 | ICLR 2025 / ACL 2024 | GUI grounding基础模型层 | 作为底座嵌入，非独立产品 | | DigiRL / UI-R1 | NeurIPS 2024 / arxiv | in-the-wild RL | 强化学习训练范式 | 训练门槛高，研究向 | | mobile-mcp | mobile-next | 平台无关接口 | MCP工具调用替代GUI操作 | 集成简单，需被控端配合 | ## 一、Mobile-Agent-v3：多智能体分工的GUI自动化内核 Mobile-Agent-v3（arXiv 2508.15144）的架构哲学是"把一个难任务拆给多个专职Agent"。它基于自研的GUI-Owl-7B基础模型构建，单独使用GUI-Owl-7B时AndroidWorld得分66.4、OSWorld 29.4；套上Mobile-Agent-v3的多智能体编排后，AndroidWorld跃升至73.3、OSWorld 37.7——框架层的分工带来的增益在移动端尤为显著。其内部通常包含规划Agent（拆解任务为子操作）、决策Agent（产生具体点击/输入动作）和反思Agent（检测卡死并回退），形成plan-act-reflect闭环。 核心价值在于跨平台统一：同一套框架能驱动桌面、移动、浏览器三类GUI。缺点是多智能体协调本身引入了token税和时序耦合，反思Agent误判会触发无效回退。变现角度，这套plan-act-reflect骨架可直接复用到企业RPA场景（表单填写、跨系统数据搬运），是训练营的高复用模板。 ```python # Mobile-Agent-v3 多智能体编排骨架（简化示意） from mobile_agent import Planner, Actor, Reflector, GUIOwl base = GUIOwl("GUI-Owl-7B") # 感知+grounding基础模型 plan = Planner(base) # 任务 → 操作序列 act = Actor(base) # 操作序列 → 点击/输入坐标 reflect = Reflector(base) # 检测卡死、重复、错误 obs = screenshot() for step in plan(task, obs): act(step) if reflect.is_stuck(history): # 反思闸门：卡死则回退 plan.rewind() ``` ## 二、UI-TARS-2：端到端native agent的极简主义 字节跳动的UI-TARS系列走的是另一条路——拒绝多智能体堆叠，用一个端到端模型吃下截图直接输出动作。UI-TARS（arXiv 2501.12326）首次提出"native agent"概念：模型仅以截图为输入，执行类人交互，在10+ GUI agent基准上达到SOTA。2025年9月发布的UI-TARS-2是一次大升级，底座迁移到Qwen3-VL，进一步收敛感知-推理-动作为单一前向传播。 这条路线的优势是延迟低、调用简单——一个模型调用完成感知和决策，没有多Agent间的消息往返。劣势是把所有复杂度压进了模型权重，长程任务的可解释性和可干预性差，一旦出错难以像多Agent那样定位到"哪个环节"。对开发者而言，UI-TARS-2最适合作为"黑盒执行器"嵌入上层应用，而非作为可调试的工程框架。它的开源策略也降低了变现门槛：直接用其作为手机助手的动作引擎，省去自研grounding模型的成本。 ## 三、AppAgent v2：先学后做的知识库范式 腾讯QQGYLab的AppAgent（arXiv 2312.13771）及其升级版AppAgent v2（arXiv 2408.11824）提出了与上述两者截然不同的学习范式：learn-then-act。它分两个阶段运行——探索阶段，Agent通过自主探索或观察人类操作，逐个文档化UI元素的功能，构建一个持久化的UI知识库；部署阶段，Agent基于这个知识库执行任务。 这种"先建文档再操作"的思路对私有/小众App特别有效：通用大模型从未见过企业内部App的界面，而AppAgent通过探索积累的元素知识库补上了这部分先验。缺点是探索阶段成本高且可能产生错误文档（错误知识会污染后续所有操作），且知识库需要随App版本更新维护。变现上，AppAgent的模式天然契合"为每个企业App定制一个操控智能体"的服务化产品：一次性探索收费+按版本更新订阅。 ## 四、OS-Atlas与SeeClick：被忽视的grounding基础模型层 榜单上的73.3分背后，真正决定上限的是grounding基础模型——把"点击登录按钮"这句自然语言映射到屏幕像素坐标的能力。OS-Atlas（OS-Copilot，ICLR 2025）和SeeClick（南京大学，ACL 2024）就是这一层。SeeClick通过GUI grounding预训练，以比CogAgent更少的参数达到更高效率；OS-Atlas则定位为通用GUI动作基础模型，覆盖移动、桌面、Web三端。 在ScreenSpot系列grounding基准上，模型间的差距正在收敛——ScreenSpot榜单头部模型（如Qwen3-VL系列）已接近0.95+的准确率，这意味着"点对位置"已不再是主要瓶颈。真正的难点从grounding转移到了ScreenSpot-Pro所代表的高分辨率专业场景，以及长程任务中的状态跟踪。对工程团队而言，这一层的启示是：不要自己从零训练grounding模型，直接用OS-Atlas/SeeClick/Qwen3-VL作为底座，把精力放在上层的任务规划和错误恢复上。 ## 五、DigiRL与UI-R1：强化学习拉高动作质量 纯监督学习/微调的Agent在分布外（OOD）场景容易崩，DigiRL（NeurIPS 2024，arXiv 2406.11896）和UI-R1（arXiv 2503.21620）用强化学习补这一刀。DigiRL在真实设备（in-the-wild）环境中用自主RL训练设备控制Agent，让Agent在真实Android上试错、由环境反馈驱动策略改进，显著提升了分布外泛化。UI-R1则用RL范式专门增强GUI Agent的动作预测能力。 RL路线的天花板高、泛化强，但代价是训练基础设施复杂——需要可重置的设备/模拟器环境、奖励信号设计、以及大量试错的算力。这是六栈中门槛最高的一档，主要面向研究和头部厂商自研团队。对中小团队的实际意义在于：它指明了"数据飞轮"的方向——线上Agent的操作日志（成功/失败轨迹）本身就是RL训练的原料，谁积累了真实任务轨迹谁就能持续提升。 ## 六、mobile-mcp与MobileWorld：GUI操作 vs 工具调用的范式之争 2026年手机操控智能体最深刻的变革不在模型，而在接口。mobile-mcp（mobile-next）提供了一个平台无关的MCP server，让Agent通过结构化工具调用（点击元素by id、填表、导航）操控手机，而非纯粹依赖截图grounding。MobileWorld（arXiv 2512.19432，通义Tongyi-MAI）则首次把MCP增强和Agent-User交互纳入基准，社区正激烈辩论"GUI操作 vs MCP工具"的取舍——GUI操作通用但脆弱（依赖grounding），MCP工具精确但需要被控端主动暴露接口。 MobileWorld的201个任务横跨20个App，引入了Agent-User交互（任务中向用户提问澄清）和长程任务，让AndroidWorld上动辄70+分的SOTA框架回到更真实的难度区间。这一范式的实战意义是：未来手机操控不会是纯GUI或纯MCP的单选题，而是"能MCP就MCP、不能才回退GUI"的混合策略。Qualcomm等厂商也在推动MCP在云/边缘/设备侧的统一工具集成。 ```mermaid flowchart TD U[用户自然语言指令] --> P[Planner 规划Agent] P --> D{决策路径} D -->|优先| MCP[mobile-mcp 工具调用] D -->|回退| GUI[GUI截图操作] GUI --> GM[Grounding模型
GUI-Owl/OS-Atlas/SeeClick] GM --> ACT[点击/输入/滑动] MCP --> ACT ACT --> ENV[Android/iOS 设备环境] ENV --> OBS[截图/状态] OBS --> R[Reflector 反思Agent] R -->|卡死/错误| P R -->|需澄清| UI[Agent-User 交互] UI --> U OBS --> KB[(AppAgent UI知识库)] KB --> GM R --> LOG[(操作轨迹日志)] LOG --> RL[DigiRL/UI-R1 强化学习] RL -.优化.-> GM ``` ## 推荐方案：按场景选栈 **轻量嵌入、要低延迟**：选UI-TARS-2作为native agent黑盒执行器，一个模型调用搞定感知+决策，适合C端手机助手。 **企业私有App、需可解释**：选AppAgent v2，先用探索阶段为每个私有App建UI知识库，再部署，错误可追溯到知识库条目。 **追求榜单上限、有研发能力**：Mobile-Agent-v3框架 + GUI-Owl/OS-Atlas底座 + DigiRL式RL数据飞轮，三段式堆出SOTA。 **真实业务、要稳健**：mobile-mcp优先 + GUI回退的混合策略。能用结构化工具调用的（系统设置、已适配App）走MCP，未适配的回退到grounding，再用反思Agent兜底错误恢复。 **选型红线**：不要从零训练grounding模型（用现成OS-Atlas/SeeClick/Qwen3-VL），不要把所有App都强塞GUI操作（能MCP化的先MCP化），不要忽视MobileWorld揭示的Agent-User交互能力——长程任务中"会提问"比"硬猜"更省token也更准确。 ## 参考来源 1. [Mobile-Agent-v3: Fundamental Agents for GUI Automation (arXiv 2508.15144)](https://arxiv.org/abs/2508.15144) — 阿里X-PLUG多智能体GUI自动化框架，AndroidWorld 73.3、OSWorld 37.7 2. [MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments (arXiv 2512.19432)](https://arxiv.org/abs/2512.19432) — 通义Tongyi-MAI新基准，201任务集成Agent-User交互与MCP增强 3. [AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents (Google DeepMind)](https://google-research.github.io/android_world/) — 116任务、20+App的移动Agent基准，M3A基线30.6% 4. [UI-TARS: Pioneering Automated GUI Interaction with Native Agents (arXiv 2501.12326)](https://arxiv.org/abs/2501.12326) — 字节端到端native agent，10+基准SOTA，2025.09升级UI-TARS-2 5. [OS-Atlas: A Foundation Action Model for Generalist GUI Agents (ICLR 2025)](https://osatlas.github.io/) — GUI grounding基础动作模型，覆盖移动/桌面/Web三端 6. [DigiRL: Training In-The-Wild Device-Control Agents with Autonomous RL (NeurIPS 2024, arXiv 2406.11896)](https://arxiv.org/abs/2406.11896) — 真实设备环境自主RL训练范式 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。