你还在一个字一个字敲 Selenium 定位器吗？海外测试圈已经悄悄换了玩法：**用一句自然语言描述测试步骤，AI 自己去点按钮、填表单、断言结果**。更扎心的是，这套玩法的核心工具要么开源、要么有免费额度，而国内教程圈几乎无人提及——搜「AI 自动化测试」，出来的还是三年前的 Selenium 教程。今天这三件套（Shortest、ZeroStep、Stagehand），就是这块还没被国内注意到的洼地。看完你至少能把一个手工回归流程改成自动跑，成本接近零。 ## 先说清楚：为什么测试是 AI 落地的“洼地” AI 编程工具卷翻了天（Copilot、Cursor、Cline 全被讲烂了），但**写完代码之后的验证环节**，绝大多数团队还停在 2015 年的工作流：手写定位器、维护 Page Object、改一个按钮全体测试崩溃。海外 2024 年底到 2025 年冒出来的一批新工具，思路全是同一个——**把“写测试”这个动作外包给模型，把“跑测试”留给成熟的 Playwright**。这个组合拳打法，国内还没形成讨论度，这就是时间差。 ## 工具一：Shortest —— 一句人话就是一条测试 - **官网/仓库**：https://shortest.com ｜ https://github.com/antiwork/shortest - **功能**：用 TypeScript 写测试文件，但测试主体是一句自然语言。写法类似 `Test("登录流程", () => ai("用谷歌账号登录并进入后台"))`，AI 负责理解意图、驱动浏览器、判断结果。底层是 Playwright 加大模型。 - **价格**：完全开源免费，不收月费。你只需要自备一个模型 API Key（如 Anthropic），成本就是 token 消耗，用多少付多少。 - **为什么值得关注**：它出自 antiwork——就是海外知名社区 r/antiwork 背后那伙开源开发者，2024 年底开源后热度很高。**“AI 拆解意图 + Playwright 执行”的架构**是目前自然语言测试的主流范式，读懂它你就读懂了这个品类。 - **国内对比**：国内测试圈主流仍是 Selenium/Appium 加手写 Page Object，或者花钱买众测平台服务。「自然语言即用例」这条路，中文教程基本空白，你上手就是先发优势。 - **适用人群**：会 Node/TS 的独立开发者、想给小项目补回归测试但没人力写脚本的小团队。 ## 工具二：ZeroStep —— 不推翻老项目，给 Playwright 装个 ai() 函数 - **官网**：https://zerostep.com - **功能**：一个 Playwright 插件，装完后测试代码里多了一个 `ai()` 函数。你可以把最脆弱的步骤换成自然语言：`await ai("在搜索框输入相机，点击第一个结果")`。定位器变了？AI 自己找，脚本不死。 - **价格**：官网提供免费额度，本地跑测试用免费档就够试用；高频 CI 场景有付费订阅，具体档位以官网为准。 - **为什么值得关注**：它是三件套里**迁移成本最低**的。你不用推翻现有 Playwright 工程，挑三条最常崩的用例改成 `ai()` 写法，当天见效。老脚本和新写法可以混着用。 - **国内对比**：国内教程教的都是“定位器要写稳”：加 data-testid、用相对路径。这些本质是在给脆弱脚本打补丁。ZeroStep 的思路是让脆弱的部分直接消失。 - **适用人群**：已有 Playwright 项目、被 UI 改版搞到崩溃的测试工程师和外包交付团队。 ## 工具三：Stagehand —— 不只是测试，是 AI 浏览器自动化的地基 - **官网/仓库**：https://www.stagehand.dev ｜ https://github.com/browserbase/stagehand - **功能**：Browserbase 公司出品的开源框架，给 Playwright 页面对象加了两大招：`act()`（执行动作，如“点击登录按钮”）和 `extract()`（从页面提取结构化数据）。写自动化流程、采集、RPA、E2E 测试通吃。 - **价格**：MIT 协议开源免费，可接自己的 OpenAI/Anthropic Key；也可以用官方 Browserbase 云浏览器（有免费额度，可自建）。 - **为什么值得关注**：这是海外 AI 浏览器 Agent 生态里**被引用最多的积木之一**。学会了它，测试只是第一个应用——你还能顺手做出表单自动填报、竞品价格监控、后台批量操作这类活儿。一件工具三份收益。 - **国内对比**：国内做浏览器自动化多用闭源收费的 RPA 平台，或者裸写 Playwright 脚本。开源、可自部署、模型随你换的方案，国内很少有人系统讲。 - **适用人群**：想一次投入多处复用的工程师——既要测试自动化，又想做数据采集和流程自动化。 ## 加餐一句 如果你想要更激进的「全自动 AI 测试员」，可以关注开源项目 **TestZeus Hercules**（https://github.com/testzeus/hercules）：给一个目标，Agent 自己规划测试步骤、执行并出报告。成熟度还在早期，适合蹲观察。 ## 一图看懂自然语言测试怎么跑 ```mermaid flowchart TD A["你写一句自然语言
「打开登录页并登录」"] --> B["AI 解析意图
拆成点击与输入"] B --> C["Playwright 驱动浏览器
逐步执行"] C --> D{执行成功?} D -->|成功| E["生成测试报告"] D -->|失败| F["AI 分析报错
重新定位元素重试"] F --> C E --> G["接入 CI
每次提交自动回归"] ``` ## 三件套怎么选 ```mermaid flowchart TD Q["你的需求是?"] --> S1["老项目补回归"] Q --> S2["从零写用例"] Q --> S3["做自动化流程"] S1 --> T1["ZeroStep
装插件改三条用例"] S2 --> T2["Shortest
开源免费自备Key"] S3 --> T3["Stagehand
act加extract通吃"] ``` ## 信息差总结 | 你以为的 | 实际情况 | |---------|---------| | E2E 测试必须手写代码和定位器 | 一句自然语言描述就能跑通 | | AI 测试等于昂贵的企业级软件 | 核心三件套开源或免费，只付模型调用费 | | 上 AI 测试要推翻重来 | ZeroStep 直接塞进现有 Playwright 工程 | | 测试工具只干测试 | Stagehand 同一套代码能做采集、RPA、Agent | ## 行动指南 1. **今天**：`git clone https://github.com/antiwork/shortest`，装依赖、配一个 Anthropic Key，跑官方示例，感受“一句话出测试报告”。 2. **本周**：给手头 Playwright 项目 `npm i -D @zerostep/playwright`，挑三条最常崩的用例，把定位器部分换成 `await ai("...")`。 3. **下周**：用 Stagehand 把一条纯手工的重复流程（如后台批量审核）自动化，顺手验证它当测试用是否稳定。 4. **提醒**：自然语言用例跑得慢、token 有成本，别全量替换。关键路径用 AI 生成后**人工锁定关键断言**，长尾流程才交给 AI 自由发挥——这是海外团队踩坑后的共识打法。 ## 参考来源 1. Shortest 官网与开源仓库：https://shortest.com ｜ https://github.com/antiwork/shortest 2. ZeroStep 官网与文档：https://zerostep.com 3. Stagehand 官网与开源仓库：https://www.stagehand.dev ｜ https://github.com/browserbase/stagehand 4. TestZeus Hercules 开源仓库：https://github.com/testzeus/hercules --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。