你还在一个字一个字敲 Selenium 定位器吗？海外测试圈已经悄悄换了玩法：用一句自然语言描述测试步骤，AI 自己去点按钮、填表单、断言结果。更扎心的是，这套玩法的核心工具要么开源、要么有免费额度，而国内教程圈几乎无人提及——搜「AI 自动化测试」，出来的还是三年前的 Selenium 教程。今天这三件套（Shortest、ZeroStep、Stagehand），就是这块还没被国内注意到的洼地。看完你至少能把一个手工回归流程改成自动跑，成本接近零。

先说清楚：为什么测试是 AI 落地的“洼地”

AI 编程工具卷翻了天（Copilot、Cursor、Cline 全被讲烂了），但写完代码之后的验证环节，绝大多数团队还停在 2015 年的工作流：手写定位器、维护 Page Object、改一个按钮全体测试崩溃。海外 2024 年底到 2025 年冒出来的一批新工具，思路全是同一个——把“写测试”这个动作外包给模型，把“跑测试”留给成熟的 Playwright。这个组合拳打法，国内还没形成讨论度，这就是时间差。

工具一：Shortest —— 一句人话就是一条测试

• 官网/仓库：https://shortest.com ｜ https://github.com/antiwork/shortest
• 功能：用 TypeScript 写测试文件，但测试主体是一句自然语言。写法类似 Test("登录流程", () => ai("用谷歌账号登录并进入后台"))，AI 负责理解意图、驱动浏览器、判断结果。底层是 Playwright 加大模型。
• 价格：完全开源免费，不收月费。你只需要自备一个模型 API Key（如 Anthropic），成本就是 token 消耗，用多少付多少。
• 为什么值得关注：它出自 antiwork——就是海外知名社区 r/antiwork 背后那伙开源开发者，2024 年底开源后热度很高。“AI 拆解意图 + Playwright 执行”的架构是目前自然语言测试的主流范式，读懂它你就读懂了这个品类。
• 国内对比：国内测试圈主流仍是 Selenium/Appium 加手写 Page Object，或者花钱买众测平台服务。「自然语言即用例」这条路，中文教程基本空白，你上手就是先发优势。
• 适用人群：会 Node/TS 的独立开发者、想给小项目补回归测试但没人力写脚本的小团队。

工具二：ZeroStep —— 不推翻老项目，给 Playwright 装个 ai() 函数

• 官网：https://zerostep.com
• 功能：一个 Playwright 插件，装完后测试代码里多了一个 ai() 函数。你可以把最脆弱的步骤换成自然语言：await ai("在搜索框输入相机，点击第一个结果")。定位器变了？AI 自己找，脚本不死。
• 价格：官网提供免费额度，本地跑测试用免费档就够试用；高频 CI 场景有付费订阅，具体档位以官网为准。
• 为什么值得关注：它是三件套里迁移成本最低的。你不用推翻现有 Playwright 工程，挑三条最常崩的用例改成 ai() 写法，当天见效。老脚本和新写法可以混着用。
• 国内对比：国内教程教的都是“定位器要写稳”：加 data-testid、用相对路径。这些本质是在给脆弱脚本打补丁。ZeroStep 的思路是让脆弱的部分直接消失。
• 适用人群：已有 Playwright 项目、被 UI 改版搞到崩溃的测试工程师和外包交付团队。

工具三：Stagehand —— 不只是测试，是 AI 浏览器自动化的地基

• 官网/仓库：https://www.stagehand.dev ｜ https://github.com/browserbase/stagehand
• 功能：Browserbase 公司出品的开源框架，给 Playwright 页面对象加了两大招：act()（执行动作，如“点击登录按钮”）和 extract()（从页面提取结构化数据）。写自动化流程、采集、RPA、E2E 测试通吃。
• 价格：MIT 协议开源免费，可接自己的 OpenAI/Anthropic Key；也可以用官方 Browserbase 云浏览器（有免费额度，可自建）。
• 为什么值得关注：这是海外 AI 浏览器 Agent 生态里被引用最多的积木之一。学会了它，测试只是第一个应用——你还能顺手做出表单自动填报、竞品价格监控、后台批量操作这类活儿。一件工具三份收益。
• 国内对比：国内做浏览器自动化多用闭源收费的 RPA 平台，或者裸写 Playwright 脚本。开源、可自部署、模型随你换的方案，国内很少有人系统讲。
• 适用人群：想一次投入多处复用的工程师——既要测试自动化，又想做数据采集和流程自动化。

加餐一句

如果你想要更激进的「全自动 AI 测试员」，可以关注开源项目 TestZeus Hercules（https://github.com/testzeus/hercules）：给一个目标，Agent 自己规划测试步骤、执行并出报告。成熟度还在早期，适合蹲观察。

一图看懂自然语言测试怎么跑

flowchart TD
    A["你写一句自然语言<br/>「打开登录页并登录」"] --> B["AI 解析意图<br/>拆成点击与输入"]
    B --> C["Playwright 驱动浏览器<br/>逐步执行"]
    C --> D{执行成功?}
    D -->|成功| E["生成测试报告"]
    D -->|失败| F["AI 分析报错<br/>重新定位元素重试"]
    F --> C
    E --> G["接入 CI<br/>每次提交自动回归"]

三件套怎么选

flowchart TD
    Q["你的需求是?"] --> S1["老项目补回归"]
    Q --> S2["从零写用例"]
    Q --> S3["做自动化流程"]
    S1 --> T1["ZeroStep<br/>装插件改三条用例"]
    S2 --> T2["Shortest<br/>开源免费自备Key"]
    S3 --> T3["Stagehand<br/>act加extract通吃"]

信息差总结

行动指南

1. 今天：git clone https://github.com/antiwork/shortest，装依赖、配一个 Anthropic Key，跑官方示例，感受“一句话出测试报告”。
2. 本周：给手头 Playwright 项目 npm i -D @zerostep/playwright，挑三条最常崩的用例，把定位器部分换成 await ai("...")。
3. 下周：用 Stagehand 把一条纯手工的重复流程（如后台批量审核）自动化，顺手验证它当测试用是否稳定。
4. 提醒：自然语言用例跑得慢、token 有成本，别全量替换。关键路径用 AI 生成后人工锁定关键断言，长尾流程才交给 AI 自由发挥——这是海外团队踩坑后的共识打法。

参考来源

1. Shortest 官网与开源仓库：https://shortest.com ｜ https://github.com/antiwork/shortest
2. ZeroStep 官网与文档：https://zerostep.com
3. Stagehand 官网与开源仓库：https://www.stagehand.dev ｜ https://github.com/browserbase/stagehand
4. TestZeus Hercules 开源仓库：https://github.com/testzeus/hercules

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。