# 别再手点回归：四款AI测试新货 ## 导语 这两年AI把“写代码”卷成了半自动流水线，但绝大多数团队的下 QC 环节——**测试**——还停留在人肉点击回归用例、维护一堆一改版就红的 Selenium 脚本上。这里藏着一条巨大的信息差：海外已经冒出一批“测试 Agent”，它们不是帮你生成测试代码，而是**自己开浏览器、自己点页面、自己下断言**，脚本挂了还能自愈。本文拆解四款代表性工具（两开源两SaaS），给你安装命令、接入路径和国内同类对比，测试岗和独立开发者都能今晚就用上。 ## 为什么是现在爆发？两个前提凑齐了 第一波“AI写测试”其实很早就有了，思路大多是**让大模型生成 Playwright/Selenium 脚本代码**——听着美好，实际用过的都知道：生成的脚本第一次能跑，页面一改版就集体阵亡，维护成本比手写还高。 转折点在 2025 年初：Playwright 官方放出了 MCP 服务器（仓库 `microsoft/playwright-mcp`），把浏览器的点击、填表、截图、读控制台封装成标准化工具调用。这相当于给所有 Agent 发了一双“能操作网页的手”。从此行业思路变了——**别生成脚本了，让 Agent 直接上岗当测试员**，它实时看页面、实时决定下一步点什么，DOM 改版对它来说根本不构成“脚本挂了”。 国内社区目前的主流认知还停在前一波：“AI测试 = 帮我写测试代码”。而后一波“Agent 直接执行测试”的玩法，中文圈几乎没人系统写过。下面四款就是这条路线的代表。 ## 四款工具逐个拆 ### 1. Shortest：自然语言写用例，开源免费 - **仓库**：[github.com/antiwork/shortest](https://github.com/antiwork/shortest) - **是什么**：antiwork 团队 2024 年底开源的 AI 测试框架，上线后很快冲上 GitHub Trending。核心卖点一句话：**用自然语言写测试**。你在测试文件里直接写“用有效邮箱密码验证登录”，框架调用 Claude 驱动 Playwright 去真实执行。 - **怎么装**：`npm install -D @antiwork/shortest`，配好 Anthropic API Key 后在终端跑 `shortest` 即可。细节以官方 README 为准。 - **三个真香点**： 1. **登录类测试的噩梦被解决了**——它内置了邮箱验证码读取和 2FA（TOTP）支持，“测注册-收验证码-激活”这种以前要搭半天环境的用例，现在一句话； 2. 测试可以混写自然语言和普通断言回调，保留 TypeScript 的控制力； 3. 提供 GitHub Actions 集成，PR 上自动跑。 - **价格**：开源免费，成本只剩你自己的 LLM API 调用费，按一次回归几十次交互算，通常不到一顿早餐钱。 - **国内对比**：国内自动化测试圈的主流还是 Selenium/Playwright 手写 PO 模式，或者网易 Airtest 这种图像识别老将。Shortest 这类“自然语言即用例”的玩法，中文教程目前基本空白。 ### 2. TestZeus Hercules：自称“第一个软件测试 Agent” - **仓库**：[github.com/testzeus/hercules](https://github.com/testzeus/hercules) - **是什么**：TestZeus 公司 2025 年初开源的全自动测试 Agent，官方口径是“世界第一个软件测试 Agent”（自称，未经第三方认证）。你用类似 Gherkin 的 feature 文件描述业务场景，Hercules 自己规划步骤、操作界面、做断言、出报告。 - **差异化**：它不只测 UI。据其官方介绍，同一套框架能覆盖 **UI 测试、API 测试、无障碍（a11y）测试、数据校验**，官方演示视频里两分钟左右跑完一组 Salesforce 页面测试（据官方演示，未独立复现）。 - **适合谁**：想先把 AI 测试跑通、又不想被 SaaS 绑架的团队。开源免费，可以部署在自己环境里，敏感业务数据不出内网——这点对国内企业特别关键。 - **注意**：项目较新，复杂场景的稳定性要自己试点验证，建议先拿非核心页面练手。 ### 3. Octomind：不写不维护，测试当服务外包给 AI - **官网**：[octomind.dev](https://octomind.dev) - **是什么**：柏林团队的 SaaS，思路最“狠”——**你一个测试都别写**。给它应用入口，AI 自己探索页面、自己生成 Playwright 用例集，跑在它的云端；用例挂了，它先判断“是产品真坏了还是环境抖了/页面改版了”，后者自动修复。 - **为什么值得关注**：E2E 测试最难的不是写，是**维护**。业内普遍的痛点是回归用例每年以数百条速度腐烂，最后没人敢信。Octomind 把维护环节整个吃掉，等于把 QA 的脏活变成了订阅服务。 - **价格**：订阅制，有免费试用，具体档位以官网为准（其定价随版本调整频繁，此处不引具体数字）。 - **国内对比**：国内云测厂商（如 Testin 一类）本质是众包人力 + 真机池，卖的是“人海”；Octomind 卖的是“AI 保活的用例集”，这是两个物种。 ### 4. Momentic：专治“选择器一改版就死” - **官网**：[momentic.ai](https://momentic.ai) - **是什么**：YC 系创业公司的 AI E2E 测试平台。核心技术点是**抛弃脆弱的 CSS/XPath 选择器**，用视觉 + 语义方式定位元素——按钮上文字从「提交订单」改成「立即支付」，脚本照跑不误，因为 Agent 认的是“这是个提交类按钮”，不是 `div.checkout-btn:nth-child(3)`。 - **附加能力**：云端并行执行、失败自动重试与根因标注、支持移动端 Web。据其官网介绍还支持从 Figma 直接生成测试。 - **价格**：按团队订阅，以官网为准。 - **适合谁**：前端迭代极快、页面天天改版的电商/SaaS 团队——这类团队恰恰是“选择器地狱”的重灾区。 ### 值得顺手记一笔的 - **Checksum.ai**：从线上真实用户会话里自动挖掘并生成 Playwright 用例，思路是“用户怎么用，就测什么”； - **ZeroStep**：轻量路线，在现有 Playwright 测试里插一个 `ai("...")` 函数，AI 单步执行，适合渐进改造老项目； - **Midscene.js**：字节开源的 AI UI 自动化库，中文圈少数熟脸，但它定位是通用自动化（偏“操作”），与上面几个“测试断言 + 报告 + CI”的完整闭环仍有差距。 ## 信息差总结 | 维度 | 你可能以为的 | 海外已经发生的 | |---|---|---| | AI测试 = | 大模型帮我生成测试脚本 | Agent 直接开浏览器执行测试 | | 用例来源 | 手写 + 录制回放 | 一句自然语言 / 爬站自动生成 / 真实用户会话 | | 维护成本 | 改版必挂，专人修脚本 | 语义定位 + 自愈，改版基本免疫 | | 成本 | 人力 + 众包平台年费数万起 | 开源免费 + 每月几十美元 API/订阅费 | | 上手门槛 | 会写代码才配谈自动化 | 会写需求文档就会写用例 | ## 接入工作流长什么样 ```mermaid flowchart TD A["开发者写一句
自然语言用例"] --> B["Agent解析意图"] B --> C["启动无头浏览器"] C --> D["像人一样点页面
填表单"] D --> E{"页面结构变了？"} E -->|没变| F["断言通过
生成报告"] E -->|变了| G["AI重新定位元素
脚本自愈"] G --> F F --> H["挂到CI
每次提交自动回归"] ``` ## 行动指南 1. **今晚就能做**：找一个你最烦的回归场景（比如登录+下单），`npm install -D @antiwork/shortest`，用三句自然语言把它写出来跑一遍，直观感受和手写脚本的差距； 2. **本周**：把公司三个核心转化路径（注册/支付/搜索）变成自然语言用例，开源方案（Shortest 或 Hercules）先在内网跑一周，统计误报率； 3. **本月**：误报率稳定后接入 GitHub Actions/GitLab CI，让每次 PR 自动回归；如果维护工作量仍然超预期，再试 Octomind/Momentic 的托管路线，用免费试用对比自建成本。 ## 参考来源 1. Shortest 官方仓库：https://github.com/antiwork/shortest 2. TestZeus Hercules 官方仓库：https://github.com/testzeus/hercules 3. Octomind 官网：https://octomind.dev 4. Momentic 官网：https://momentic.ai 5. Playwright MCP 官方仓库：https://github.com/microsoft/playwright-mcp > 说明：文中工具功能与演示数据以各家官网/README 为准，价格随版本调整频繁，未标注具体数字处请以官方页面最新信息为准。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。