# 你的AI应用被人一句话骗走数据了吗？海外工程师上线前都在用这三把“安全梳子” ## 导语 国内团队卷模型、卷Agent功能，却几乎没人聊一件事：**你的LLM应用上线前，有没有人拿恶意提示词攻击过它？** 海外这边已经形成了一套成熟的“AI红队”工具链——微软、NVIDIA这些大厂把自己内部用的攻击测试工具直接开源了，免费、本地跑、一小时上手。这批工具在国内技术社区的存在感几乎为零，但它们恰恰是“AI应用从Demo到生产”之间那道最关键的工序。今天介绍的三个工具：Microsoft PyRIT、NVIDIA Garak、promptfoo，全部开源免费，看完就能在你自己的项目里跑起来。 ## 工具一：Microsoft PyRIT —— 微软内部红队工具的开源版 - **官网/仓库**：https://github.com/Azure/PyRIT - **功能描述**：PyRIT（Python Risk Identification Tool for generative AI）是微软AI红队团队内部使用的自动化风险识别框架。它能批量生成攻击性提示词（越狱、提示注入、敏感信息套取），自动发给你的目标模型，再自动评估模型回复是否“中招”，最后输出一份风险报告。核心能力分几块：攻击数据集管理、自动化攻击编排（支持多轮对话式攻击，即攻击者会根据模型回复动态追问）、以及基于评分器的自动判定。 - **价格**：完全开源免费，MIT类宽松许可，自己搭环境零成本。唯一的开销是你的目标模型API调用费——毕竟每次测试都在真实调用模型。 - **为什么值得关注**：大厂开源的红队工具，等于把微软内部的安全测试方法论直接搬给你。它测试的不是“模型聪不聪明”，而是“你的应用会不会被绕过系统提示词、会不会泄露系统提示、会不会被诱导输出违规内容”。国内做AI应用的同学大多靠手动试几个越狱提示词就敢上线，PyRIT能把这个过程变成可重复、可回归的自动化测试——就像单元测试之于普通代码。 - **与国内同类对比**：国内大模型上线前的安全评测主要靠备案测评机构和各厂内部风控团队，工具基本自研不外流；开源社区里可用的中文越狱测试集分散且不成体系。PyRIT的优势在于攻击编排是“活的”——多轮动态攻击远比静态题库更接近真实攻击者。缺点是原生测试集以英文为主，中文场景需要自己补料。 - **适用人群**：把LLM应用推进生产的后端工程师、AI应用安全负责人、给客户交付AI项目的乙方团队（交付报告里附一份红队测试结果，专业度直接拉满）。 ## 工具二：NVIDIA Garak —— 给LLM做“漏洞扫描”的nmap - **官网/仓库**：https://github.com/NVIDIA/garak - **功能描述**：Garak是NVIDIA出的LLM漏洞扫描器，名字致敬《星际迷航》里的密码破译专家。定位非常清晰：**nmap扫端口，garak扫LLM**。它内置大量“探测器”（probe），覆盖越狱、提示注入、数据泄露、幻觉、毒性输出、训练数据抽取等几十类已知攻击手法，一条命令扫完输出哪类攻击成功、模型哪里漏风。支持OpenAI兼容API、HuggingFace本地模型等多种接入方式，也就是说你本地跑的开源模型和线上的商用API都能扫。 - **价格**：开源免费（Apache 2.0），`pip install garak` 即装即用，扫描成本同样只是目标模型的API调用费。 - **为什么值得关注**：Garak是“广度优先”的——你不需要懂安全，跑一遍就知道自家模型在几十类已知攻击下的失守情况，适合当上线前的例行体检。NVIDIA背书意味着它会持续跟进最新的攻击研究，社区每发现新的越狱手法，探测器就会更新。对于玩本地模型的用户（国内Ollama/vLLM用户极多），Garak是少数能直接扫本地模型的工具。 - **与国内同类对比**：国内安全厂商（如奇安信、绿盟）有面向企业的模型安全评估产品，但都是商业交付、按项目收费；开源侧几乎没有对标Garak完整度的中文项目。对个人开发者和小团队，Garak是目前零成本方案里覆盖面最广的。 - **适用人群**：部署开源模型的工程师（扫一扫再上线）、安全研究员、需要给管理层出“模型风险评估”的技术负责人。 ## 工具三：promptfoo —— 把红队测试塞进CI/CD流水线 - **官网**：https://www.promptfoo.dev / https://github.com/promptfoo/promptfoo - **功能描述**：promptfoo起步是提示词评测工具（对比不同prompt/模型/参数的输出质量），后来加上了红队（red teaming）能力，一跃成为海外LLM工程工具链里的明星项目：既能做**功能评测**（回归测试你的提示词改动有没有劣化），又能做**安全攻击**（内置大量越狱和注入策略，自动生成针对你应用的攻击用例）。最大亮点是`promptfoo redteam init`一条命令起一个Web界面，点选你的应用场景，它自动生成攻击计划、跑测试、出报告。还能接CI，每次改提示词自动跑安全回归。 - **价格**：核心开源免费；官方提供托管云服务（团队协作、报告集中管理），按团队席位收费，具体价格以官网为准（本轮未经核实，历史公开资料为免费档+付费档结构）。只用开源部分则完全零成本。 - **为什么值得关注**：前两个工具是“测一次出个报告”，promptfoo解决的是**持续性问题**——你改了系统提示词、换了模型版本、加了RAG检索，攻击面全变了。把promptfoo挂进CI，每次提交自动跑一遍红队用例，安全测试就跟lint一样日常化。这是海外成熟AI团队和国内团队拉开差距的真正分水岭：不是模型能力，是工程纪律。 - **与国内同类对比**：国内提示词评测多以内部平台或Jupyter脚本形式存在，开源可用的“评测+红队”二合一工具稀缺；promptfoo对国产模型的支持走OpenAI兼容协议即可，DeepSeek、Qwen、GLM的API都能直接接。 - **适用人群**：有CI/CD习惯的后端团队、维护长期迭代的AI应用的全栈工程师、想给AI产品建立质量门禁的技术Leader。 ## 三把梳子怎么配合用 ```mermaid flowchart LR A[你的LLM应用] --> B[promptfoo
日常回归+CI门禁] A --> C[Garak
上线前全面扫描] A --> D[PyRIT
深度多轮攻击演练] B --> E{有漏洞?} C --> E D --> E E -- 是 --> F[修系统提示词/加过滤/改架构] F --> A E -- 否 --> G[放心上线
持续CI监控] ``` 一句话分工：**Garak管广度**（上线前全面体检）、**PyRIT管深度**（模拟真实攻击者多轮缠斗）、**promptfoo管日常**（每次改动自动回归）。中小团队先用promptfoo一个就够，模型厂商和金融/医疗等高风险场景再上另外两把。 ## 信息差总结 | 维度 | 你以为的 | 实际情况 | |------|---------|---------| | AI安全测试 | 要买商业安全产品或请咨询公司 | 微软/NVIDIA已开源内部工具，零成本 | | 测试方法 | 手动试几个越狱提示词 | 可自动化、可回归、可进CI流水线 | | 适用对象 | 只有模型厂商需要 | 任何调用LLM API的应用都该测 | | 中文场景 | 国外工具不支持中文 | OpenAI兼容协议直接接国产模型，测试集可自定义中文 | | 成本 | 大几千到几十万 | 免费，成本仅为测试时的API调用费 | ## 行动指南 1. **今晚就能做**：`pip install garak`，把你项目的模型API填进去跑一次基础扫描，看看哪类攻击失守——预计1小时。 2. **本周做**：在promptfoo里录入你的核心系统提示词和3-5个关键业务场景，跑一轮red team，把报告带进下次技术评审。 3. **本月做**：把红队用例挂进CI，设定门禁规则（如“越狱成功率>5%禁止发布”）；中文业务团队同步补充中文攻击用例（可直接用Garak的probe格式自定义）。 4. **进阶**：高风险应用加测PyRIT多轮攻击，并建立漏洞台账，每次模型/提示词变更后复测。 ## 参考来源 1. PyRIT官方仓库：https://github.com/Azure/PyRIT 2. Garak官方仓库：https://github.com/NVIDIA/garak 3. promptfoo官网：https://www.promptfoo.dev 4. promptfoo官方仓库：https://github.com/promptfoo/promptfoo > 注：本文三个工具的存在性、开源属性与核心功能基于其官方仓库公开信息整理；具体版本特性、云服务定价请以官网当前页面为准。本轮因检索通道受限，未能对最新版本动态做二次交叉核实，文中未标注的数据均不建议直接引用于正式报告。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。