别再手点回归：四款AI测试新货

导语

这两年AI把“写代码”卷成了半自动流水线，但绝大多数团队的下 QC 环节——测试——还停留在人肉点击回归用例、维护一堆一改版就红的 Selenium 脚本上。这里藏着一条巨大的信息差：海外已经冒出一批“测试 Agent”，它们不是帮你生成测试代码，而是自己开浏览器、自己点页面、自己下断言，脚本挂了还能自愈。本文拆解四款代表性工具（两开源两SaaS），给你安装命令、接入路径和国内同类对比，测试岗和独立开发者都能今晚就用上。

为什么是现在爆发？两个前提凑齐了

第一波“AI写测试”其实很早就有了，思路大多是让大模型生成 Playwright/Selenium 脚本代码——听着美好，实际用过的都知道：生成的脚本第一次能跑，页面一改版就集体阵亡，维护成本比手写还高。

转折点在 2025 年初：Playwright 官方放出了 MCP 服务器（仓库 microsoft/playwright-mcp），把浏览器的点击、填表、截图、读控制台封装成标准化工具调用。这相当于给所有 Agent 发了一双“能操作网页的手”。从此行业思路变了——别生成脚本了，让 Agent 直接上岗当测试员，它实时看页面、实时决定下一步点什么，DOM 改版对它来说根本不构成“脚本挂了”。

国内社区目前的主流认知还停在前一波：“AI测试 = 帮我写测试代码”。而后一波“Agent 直接执行测试”的玩法，中文圈几乎没人系统写过。下面四款就是这条路线的代表。

四款工具逐个拆

1. Shortest：自然语言写用例，开源免费

• 仓库：github.com/antiwork/shortest
• 是什么：antiwork 团队 2024 年底开源的 AI 测试框架，上线后很快冲上 GitHub Trending。核心卖点一句话：用自然语言写测试。你在测试文件里直接写“用有效邮箱密码验证登录”，框架调用 Claude 驱动 Playwright 去真实执行。
• 怎么装：npm install -D @antiwork/shortest，配好 Anthropic API Key 后在终端跑 shortest 即可。细节以官方 README 为准。
• 三个真香点： 1. 登录类测试的噩梦被解决了——它内置了邮箱验证码读取和 2FA（TOTP）支持，“测注册-收验证码-激活”这种以前要搭半天环境的用例，现在一句话； 2. 测试可以混写自然语言和普通断言回调，保留 TypeScript 的控制力； 3. 提供 GitHub Actions 集成，PR 上自动跑。
• 价格：开源免费，成本只剩你自己的 LLM API 调用费，按一次回归几十次交互算，通常不到一顿早餐钱。
• 国内对比：国内自动化测试圈的主流还是 Selenium/Playwright 手写 PO 模式，或者网易 Airtest 这种图像识别老将。Shortest 这类“自然语言即用例”的玩法，中文教程目前基本空白。

2. TestZeus Hercules：自称“第一个软件测试 Agent”

• 仓库：github.com/testzeus/hercules
• 是什么：TestZeus 公司 2025 年初开源的全自动测试 Agent，官方口径是“世界第一个软件测试 Agent”（自称，未经第三方认证）。你用类似 Gherkin 的 feature 文件描述业务场景，Hercules 自己规划步骤、操作界面、做断言、出报告。
• 差异化：它不只测 UI。据其官方介绍，同一套框架能覆盖 UI 测试、API 测试、无障碍（a11y）测试、数据校验，官方演示视频里两分钟左右跑完一组 Salesforce 页面测试（据官方演示，未独立复现）。
• 适合谁：想先把 AI 测试跑通、又不想被 SaaS 绑架的团队。开源免费，可以部署在自己环境里，敏感业务数据不出内网——这点对国内企业特别关键。
• 注意：项目较新，复杂场景的稳定性要自己试点验证，建议先拿非核心页面练手。

3. Octomind：不写不维护，测试当服务外包给 AI

• 官网：octomind.dev
• 是什么：柏林团队的 SaaS，思路最“狠”——你一个测试都别写。给它应用入口，AI 自己探索页面、自己生成 Playwright 用例集，跑在它的云端；用例挂了，它先判断“是产品真坏了还是环境抖了/页面改版了”，后者自动修复。
• 为什么值得关注：E2E 测试最难的不是写，是维护。业内普遍的痛点是回归用例每年以数百条速度腐烂，最后没人敢信。Octomind 把维护环节整个吃掉，等于把 QA 的脏活变成了订阅服务。
• 价格：订阅制，有免费试用，具体档位以官网为准（其定价随版本调整频繁，此处不引具体数字）。
• 国内对比：国内云测厂商（如 Testin 一类）本质是众包人力 + 真机池，卖的是“人海”；Octomind 卖的是“AI 保活的用例集”，这是两个物种。

4. Momentic：专治“选择器一改版就死”

• 官网：momentic.ai
• 是什么：YC 系创业公司的 AI E2E 测试平台。核心技术点是抛弃脆弱的 CSS/XPath 选择器，用视觉 + 语义方式定位元素——按钮上文字从「提交订单」改成「立即支付」，脚本照跑不误，因为 Agent 认的是“这是个提交类按钮”，不是 div.checkout-btn:nth-child(3)。
• 附加能力：云端并行执行、失败自动重试与根因标注、支持移动端 Web。据其官网介绍还支持从 Figma 直接生成测试。
• 价格：按团队订阅，以官网为准。
• 适合谁：前端迭代极快、页面天天改版的电商/SaaS 团队——这类团队恰恰是“选择器地狱”的重灾区。

值得顺手记一笔的

• Checksum.ai：从线上真实用户会话里自动挖掘并生成 Playwright 用例，思路是“用户怎么用，就测什么”；
• ZeroStep：轻量路线，在现有 Playwright 测试里插一个 ai("...") 函数，AI 单步执行，适合渐进改造老项目；
• Midscene.js：字节开源的 AI UI 自动化库，中文圈少数熟脸，但它定位是通用自动化（偏“操作”），与上面几个“测试断言 + 报告 + CI”的完整闭环仍有差距。

信息差总结

接入工作流长什么样

flowchart TD
    A["开发者写一句<br/>自然语言用例"] --> B["Agent解析意图"]
    B --> C["启动无头浏览器"]
    C --> D["像人一样点页面<br/>填表单"]
    D --> E{"页面结构变了？"}
    E -->|没变| F["断言通过<br/>生成报告"]
    E -->|变了| G["AI重新定位元素<br/>脚本自愈"]
    G --> F
    F --> H["挂到CI<br/>每次提交自动回归"]

行动指南

1. 今晚就能做：找一个你最烦的回归场景（比如登录+下单），npm install -D @antiwork/shortest，用三句自然语言把它写出来跑一遍，直观感受和手写脚本的差距；
2. 本周：把公司三个核心转化路径（注册/支付/搜索）变成自然语言用例，开源方案（Shortest 或 Hercules）先在内网跑一周，统计误报率；
3. 本月：误报率稳定后接入 GitHub Actions/GitLab CI，让每次 PR 自动回归；如果维护工作量仍然超预期，再试 Octomind/Momentic 的托管路线，用免费试用对比自建成本。

参考来源

1. Shortest 官方仓库：https://github.com/antiwork/shortest
2. TestZeus Hercules 官方仓库：https://github.com/testzeus/hercules
3. Octomind 官网：https://octomind.dev
4. Momentic 官网：https://momentic.ai
5. Playwright MCP 官方仓库：https://github.com/microsoft/playwright-mcp

说明：文中工具功能与演示数据以各家官网/README 为准，价格随版本调整频繁，未标注具体数字处请以官方页面最新信息为准。

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。