# 砍 LangSmith 年费的开源 LLM 评测与护栏七剑 ## 本周发现概述 2026 年中，AI 团队的钱袋子正被两个隐形吸血鬼掏空：一是 LangSmith——表面 $39/座席/月，实际算上"扩展 trace"（9 倍单价）和留存升级，团队真实 TCO 是标价的 **10.7 倍**，5 人团队从 $195 涨到近 $2,000/月；二是商业 AI 安全护栏服务，按调用计费、按流量封顶。本周我们锁定 7 个万星级开源项目，覆盖**评测（Promptfoo/DeepEval/Ragas）+ 护栏（NeMo Guardrails/Guardrails AI/LLM Guard）+ 可观测性（Arize Phoenix）**三层，全部可自托管、Apache-2.0/MIT 为主，构成一套完整的"砍 LangSmith + 砍商业护栏"私有化栈。最关键的是：其中 6 个项目本周仍有提交，Phoenix 和 Promptfoo 在 2026-07-12 当天仍在更新，活跃度极佳。 ## 被砍对象的痛点（为什么要自建） **LangSmith 的定价陷阱**（来源：tokenjam.dev 2026-05-21 TCO 拆解 + CheckThat.ai 审计）： | 档位 | 标价 | 含量 | 超量 | |------|------|------|------| | Developer | 免费 | 5K base traces/月，14 天留存 | base $0.50/千、extended $4.50/千 | | Plus | **$39/座席/月** | 10K base traces/月 | extended 是 base 的 9 倍单价 | | Enterprise | 自定义 BYOC | 自定义 | 自定义 | 致命点在于：**Agent 应用几乎全部产生 extended trace**（多轮、工具调用、长跨度），而 extended 单价是 base 的 9 倍。一个团队 5 人 sticker $195/月，跑到 1M traces/月时，真实账单 ≈ $2,000/月。2026-05-13 LangChain 发布 LangSmith Engine + SmithDB（agent 数据层），平台变快了，但定价结构分毫未动。 商业护栏服务（Lakera、各类 PII 网关）则按调用收费，0.001–0.01 美元/次，高 QPS 场景月费轻松上千美元，且数据出域合规存疑。这就是自建栈的机会窗口。 ## 筛选标准 | 维度 | 权重 | 说明 | |------|------|------| | 变现潜力 | 40% | 能否包装成私有化部署服务、企业内训、训练营？License 是否允许商用？ | | 训练营适用性 | 25% | 能否 2–4 小时出成果？是否需 GPU/复杂依赖？ | | 技术新颖度 | 20% | 是否代表 LLMOps 前沿（评测门禁、红队、OTEL trace）？ | | 维护活跃度 | 15% | 最近一周是否有 commit？组织背书？ | ## 七剑深度分析 ### 1. Promptfoo ⭐ 23,162 | TypeScript | MIT | 最近更新 2026-07-12 **仓库**：[github.com/promptfoo/promptfoo](https://github.com/promptfoo/promptfoo) **核心功能**：CLI 优先的提示词/模型矩阵评测框架，用 YAML 声明式配置同时对比多个 prompt × 多个模型 × 多个 provider，并内置强大的**红队（red-team）模式**，自动生成越狱、提示注入、PII 泄露等对抗测试用例。一行 `promptfoo eval` 跑出 HTML 对比矩阵。 **上手难度**：⭐⭐（最低之一）。`npx promptfoo@latest init`，配 YAML，无需 Python、无需 GPU，10 分钟出第一个评测报告。 **变现评估**： - **产品**：面向中小企业做"AI 应用上线前红队体检"服务，单次 ¥3,000–8,000；封装成 SaaS 式"红队即服务"（注意 MIT 许可，可自由商用）。 - **目标用户**：AI 应用厂商、金融/医疗合规团队、出海应用（GDPR 红队合规）。 - **定价**：¥299 专栏（Promptfoo 实战 30 例）/ ¥999 训练营（红队构建 + CI 接入）/ ¥2,000+ 私有化红队流水线搭建。 **训练营评估**：极佳。2 小时即可带学员从 init 到跑出 5 模型对比矩阵 + 生成红队报告，学员带走一套可直接挂 GitHub Actions 的 CI 评测模板，成果可视化、可复用。 **差异化**：唯一把"评测 + 对抗红队"合二为一且 YAML 化的工具，对 QA/SDET 工程师极度友好。 --- ### 2. DeepEval ⭐ 16,776 | Python | Apache-2.0 | 最近更新 2026-07-10 **仓库**：[github.com/confident-ai/deepeval](https://github.com/confident-ai/deepeval) **核心功能**：自称"Pytest for LLM"。原生接入 pytest 工作流，14+ 开箱指标（幻觉、毒性、答案相关性、忠实度、上下文精确率/召回率、G-Eval 自定义指标），`deepeval test run` 失败即像普通测试失败一样阻塞 PR 合并，是天然的 **CI/CD 质量门禁**。 **上手难度**：⭐⭐⭐。需 Python + pytest 基础，调阈值和 LLM-as-judge 的 API key，约 30 分钟从安装到跑通门禁。 **变现评估**： - **产品**：企业"LLM 质量门禁"咨询，把 CI 评测 gate 嵌入客户研发流程，¥15,000–50,000/项目；面向已用 pytest 的团队做迁移培训。 - **目标用户**：已有 pytest 体系的研发团队、需要 SOX/合规审计留痕的金融 AI。 - **定价**：¥999 训练营（pytest 团队转型 LLM 评测）/ ¥5,000 企业工作坊（CI gate 设计 + 指标定制）。 **训练营评估**：适合 Python 后端/AI 工程师。4 小时营：写 3 个评测用例 → 接 GitHub Actions → PR 阻断演示，学员收获"模型回归从此有红线"的工程能力。 **差异化**：唯一与 pytest 深度同构的工具，对存量 Python 团队零迁移成本；G-Eval 让非指标专家用自然语言定义质量标准。 --- ### 3. Ragas ⭐ 14,795 | Python | Apache-2.0 | 最近更新 2026-02-24 ⚠️ **仓库**：[github.com/explodinggradients/ragas](https://github.com/explodinggradients/ragas)（已重定向至 vibrantlabsai/ragas） **核心功能**：出身学术圈的 **RAG 专项评测王者**。深入度量 question–context–answer 三元关系，指标包括 faithfulness（忠实度）、answer relevancy、context precision/recall，比通用评测框架更能诊断检索质量。 **上手难度**：⭐⭐⭐⭐。概念较学术，指标数学原理需理解，且需配合真实 RAG 数据集。 **变现评估**： - **产品**：RAG 质量诊断报告（¥5,000–15,000/次），帮企业定位"是检索召回不行还是生成幻觉"；高价值，因 RAG 是企业落地最主流形态。 - **目标用户**：知识库/智能客服/文档问答厂商。 - **定价**：¥1,499 训练营（RAG 评测 + 调优闭环）/ ¥8,000 RAG 体检咨询包。 **训练营评估**：偏进阶，建议作为高阶营（需先有 RAG 项目）。3 小时可教会学员对一组 QA 跑出 faithfulness/relevancy 报告并据此优化 chunking。 **差异化**：RAG 指标深度无出其右，但**需注意**：项目近期经历维护组织迁移（explodinggradients → vibrantlabsai），最新提交停在 2026-02，距今近 5 个月更新放缓，商业采用前应评估其路线图稳定性——这是本周最重要的风险提示。 --- ### 4. NeMo Guardrails ⭐ 6,668 | Python | BSD-3 | 最近更新 2026-07-10 **仓库**：[github.com/NVIDIA-NeMo/Guardrails](https://github.com/NVIDIA-NeMo/Guardrails) **核心功能**：NVIDIA 出品，用自创的 **Colang 语言**编写对话策略（主题轨、安全轨、执行轨），在输入、输出、对话三个层级加可编程护栏，深度集成 LangChain/LlamaIndex，适合多轮对话 Agent 的"策略即代码"。 **上手难度**：⭐⭐⭐⭐。需学 Colang DSL + 理解 rails 模型，曲线偏陡，但有 NVIDIA 官方文档和企业支持背书。 **变现评估**： - **产品**：金融/政务 AI 客服的"合规对话护栏"实施（NVIDIA 背书利于签单），¥20,000–80,000/项目；这是七剑里企业溢价最高的。 - **目标用户**：强监管行业（银行、保险、政务热线）的对话式 AI。 - **定价**：¥1,999 训练营（Colang 护栏实战）/ ¥10,000 企业 Colang 政策设计工作坊。 **训练营评估**：适合有对话 Agent 项目的进阶学员。4 小时营可让学员为客服 Bot 写出"禁止承诺收益 + 强制转人工"的两条安全轨。 **差异化**：唯一把对话级策略编排（而不只是输入/输出过滤）做成一等公民的框架，NVIDIA 品牌在 toB 成交中是硬通货。 --- ### 5. Guardrails AI ⭐ 7,128 | Python | Apache-2.0 | 最近更新 2026-07-10 **仓库**：[github.com/guardrails-ai/guardrails](https://github.com/guardrails-ai/guardrails) **核心功能**：聚焦**结构化输出验证**，用 Pydantic 风格验证器保证 LLM 输出严格符合 JSON/XML schema，50+ 预置验证器（Hub），支持流式实时校验，与任何 LLM provider 兼容。专治"模型偶尔吐出非法 JSON 导致下游崩溃"。 **上手难度**：⭐⭐⭐。熟悉 Pydantic 的工程师秒上手，30 分钟集成。 **变现评估**： - **产品**：为做 Agent/function calling 的团队提供"输出契约保障"中间件，¥8,000–25,000/集成；企业版 Guardrails Hub 有商业验证器，可做本地化复刻。 - **目标用户**：重度依赖 LLM 结构化输出的 Agent 平台、ETL/数据抽取厂商。 - **定价**：¥799 训练营（schema 护栏 + 重试策略）/ ¥4,000 输出契约设计服务。 **训练营评估**：中等难度，3 小时营让学员为"发票抽取 Agent"写出 schema 守卫 + 自动重试，痛点真实、成果立现。 **差异化**：把"输出 schema 校验"做成产品级生态（Hub），与 Phoenix 已有官方集成，可联动可观测。 --- ### 6. LLM Guard ⭐ 3,164 | Python | MIT | 最近更新 2026-07-08 **仓库**：[github.com/protectai/llm-guard](https://github.com/protectai/llm-guard) **核心功能**：Protect AI 出品的**生产级输入/输出扫描中间件**，20+ 扫描器（PII、毒性、提示注入、密钥泄露、代码安全），输入输出双向扫描，自托管、数据不出域，单请求仅增加约 50ms 开销。 **上手难度**：⭐⭐。中间件式接入，几行代码挂载到 LLM 网关前，部署友好。 **变现评估**： - **产品**：面向数据敏感客户（医疗、法律、政务）的"本地化 AI 内容安全网关"，¥15,000–40,000/部署；直接对标商业 PII 网关，合规卖点强。 - **目标用户**：处理个人隐私/商业机密的 AI 应用、私有化部署刚需客户。 - **定价**：¥999 训练营（PII + 注入扫描网关搭建）/ ¥6,000 私有化内容安全网关交付。 **训练营评估**：极佳。2.5 小时营即可带学员搭出一个"拦截身份证号 + 拦截越狱"的双向网关 demo，安全主题天然有传播力。 **差异化**：唯一主打"双向扫描 + 极低延迟"的轻量网关，MIT 许可最宽松，做 SaaS 包装无障碍。 --- ### 7. Arize Phoenix ⭐ 10,512 | Python | ELv2 | 最近更新 2026-07-12 **仓库**：[github.com/Arize-ai/phoenix](https://github.com/Arize-ai/phoenix) **核心功能**：开源 AI 可观测性 + 评测平台，基于 **OpenTelemetry / OpenInference** 标准，支持 trace、span、LLM-as-judge 评测、数据集管理、RAG 指标，本地 Docker 一键起 WebUI，是**砍 LangSmith tracing 最直接的等价替代**。 **上手难度**：⭐⭐。`pip install arize-phoenix` + 几行 OTEL 插桩（配合 OpenLLMetry 可自动埋点），5 分钟看到 trace UI。 **变现评估**： - **产品**：企业"AI 可观测性平台"私有化部署（¥20,000–60,000），直接替代 LangSmith Plus + 云账单。 - **目标用户**：已上线 LLM 应用、需要回归监控与成本归因的中大型团队。 - **定价**：¥1,299 训练营（OTEL trace + LLM-as-judge 评测）/ ¥8,000 私有化观测平台交付。 - **⚠️ 许可证注意**：Phoenix 为 **Elastic License v2 (ELv2)**，禁止"提供 Phoenix 本身作为托管服务"——内部用、私有化交付客户都 OK，但**不能把 Phoenix 原样做成多租户 SaaS 转售**。做 SaaS 需自建后端或选 Apache 项（如 OpenLLMetry + 自建存储）。这是七剑里唯一的商业合规红线。 **训练营评估**：优秀。3 小时营让学员给一个 RAG 应用接上 trace，看到每一步 token/延迟/成本，"AI 应用不再黑盒"的冲击力强。 **差异化**：OTEL 原生 + 评测一体，是与 LangSmith 形态最接近的开源替代；与 Guardrails AI、OpenLLMetry 生态联动成熟。 ## 七剑全景图 ```mermaid mindmap root((砍LangSmith
开源评测护栏栈)) 评测层 砍LangSmith Eval Promptfoo[提示词矩阵+红队 23.1k MIT] DeepEval[pytest门禁 16.8k Apache] Ragas[RAG深度评测 14.8k Apache] 护栏层 砍商业安全服务 NeMo Guardrails[对话策略 NVIDIA 6.7k BSD] Guardrails AI[输出schema校验 7.1k Apache] LLM Guard[PII双向扫描 3.2k MIT] 可观测层 砍LangSmith Trace Arize Phoenix[OTEL trace+评测 10.5k ELv2] ``` ## 变现潜力 × 上手难度 象限 ```text quadrantChart title 七剑变现潜力 vs 上手难度 x-axis 低变现潜力 --> 高变现潜力 y-axis 上手难 --> 上手易 quadrant-1 快速变现首选 quadrant-2 高溢价深水区 quadrant-3 长线打磨 quadrant-4 短平快但低溢价 Promptfoo: [0.9, 0.92] LLM Guard: [0.72, 0.88] DeepEval: [0.82, 0.6] Arize Phoenix: [0.86, 0.78] Guardrails AI: [0.66, 0.62] NeMo Guardrails: [0.78, 0.32] Ragas: [0.7, 0.38] ``` ## 推荐组合架构：把七剑拼成一套私有化 LLMOps 栈 最佳实践是**分层组合**而非单选： 1. **入口护栏层**：LLM Guard 做输入/输出 PII 与注入扫描（50ms 内拦截）。 2. **应用层**：业务 RAG/Agent 应用，输出经 Guardrails AI 校验 schema 契约。 3. **对话策略层**（可选）：多轮 Agent 场景叠加 NeMo Guardrails 的 Colang 安全轨。 4. **可观测层**：Arize Phoenix（+ OpenLLMetry 自动埋点）统一收 trace 与成本，替代 LangSmith。 5. **评测层**：DeepEval 做 CI 质量门禁（日常回归），Ragas 做 RAG 深度诊断（上线前），Promptfoo 做提示词/模型选型矩阵与红队（安全合规）。 这套组合的**年费节省测算**：5 人团队从 LangSmith Plus（真实 ~$2,000/月 ≈ ¥17 万/年）+ 商业 PII 网关（~¥6 万/年）+ 商业红队服务（~¥5 万/年），合计约 **¥28 万/年**，迁移到自建栈后硬件成本约 ¥2–4 万/年，**净省 ¥24 万+**。这正是企业愿意为"私有化 LLMOps 落地"付费 ¥5–15 万实施费的商业逻辑。 ## 变现潜力 Top 5 排行榜 | 排名 | 项目 | 变现方向 | 预估定价 | 核心理由 | |------|------|----------|----------|----------| | 🥇 1 | **Promptfoo** | 红队即服务 + CI 评测训练营 | ¥999 营 / ¥3,000–8,000 单次体检 | Star 最高、MIT 最宽松、安全合规刚需、2h 出成果 | | 🥈 2 | **Arize Phoenix** | 私有化 AI 观测平台交付 | ¥1,299 营 / ¥20,000–60,000 部署 | 直接等价 LangSmith、节省最大、企业刚需（注意 ELv2） | | 🥉 3 | **DeepEval** | LLM 质量门禁咨询 + pytest 团队转型 | ¥999 营 / ¥15,000–50,000 项目 | 与存量 Python 团队零摩擦、CI gate 工程溢价高 | | 4 | **NeMo Guardrails** | 强监管行业合规对话护栏 | ¥1,999 营 / ¥20,000–80,000 项目 | NVIDIA 背书助签单、toB 溢价最高 | | 5 | **LLM Guard** | 本地化内容安全网关 | ¥999 营 / ¥15,000–40,000 部署 | 数据合规强卖点、2.5h 可交付 demo、MIT 可 SaaS | ## 三类人群的落地建议 - **独立开发者/个人 IP**：首选 Promptfoo + LLM Guard。用 Promptfoo 做"AI 应用红队体检"内容引流，用 LLM Guard 做本地安全网关小工具变现，门槛最低、传播性最强。 - **训练营/知识付费**：Promptfoo（红队营）+ DeepEval（pytest 转型营）+ Phoenix（观测营）三连，覆盖"评测—门禁—观测"完整学习路径，可做 ¥1,999 的"LLMOps 工程师速成"打包课。 - **toB 服务商/集成商**：Phoenix（砍 LangSmith）+ LLM Guard（合规网关）+ NeMo Guardrails（强监管对话）组成"私有化 AI 合规底座"，对标商业栈报 ¥15–30 万，利润空间大。 ## 延伸阅读 本周最有价值的一条信息藏在许可证里：Phoenix 的 ELv2 是七剑中唯一的商业红线——这意味着"砍 LangSmith"这件事本身已分化出两条赛道，一是合规私有化交付（Phoenix 适用），二是多租户 SaaS 复刻（须绕开 ELv2，转向 OpenLLMetry + Apache 后端自建）。 Ragas 的组织迁移则是另一记警钟：万星不等于稳，开源栈选型必须把"维护组织稳定性"纳入尽调。掌握"评测—护栏—观测"三层开源栈的组装能力，是 2026 年 AI 工程服务商最稀缺、也最值钱的一张牌。 ## 参考来源 1. [DeepEval vs Ragas vs Promptfoo: 2026 LLM Eval Showdown — qaskills.sh](https://qaskills.sh/blog/deepeval-vs-ragas-vs-promptfoo-2026) — 三大评测框架 2026 年深度对比，含真实代码、特性矩阵与决策框架 2. [LangSmith Cost in 2026: Real TCO vs Self-Hosted Alternatives — tokenjam.dev](https://tokenjam.dev/blog/2026-05-15-langsmith-tco-teardown) — LangSmith 真实 TCO 拆解，揭示 10.7 倍标价的隐藏成本与 extended trace 9 倍单价机制 3. [Best AI Agent Security & Guardrails Tools in 2026 — DEV.to/agdex_ai](https://dev.to/agdex_ai/best-ai-agent-security-guardrails-tools-in-2026-llm-guard-vs-nemo-vs-guardrails-ai-5e5d) — LLM Guard / NeMo / Guardrails AI 等 5 大护栏工具对比表 4. [Best Open Source LLM Observability Tools in 2026 — DEV.to/openobserve](https://dev.to/openobserve/best-open-source-llm-observability-tools-in-2026-complete-guide-kn5) — 2026 开源 LLM 可观测性完整指南，含 OTEL 标准与选型原则 5. [Promptfoo vs DeepEval vs RAGAS: 2026 Comparison — genai.qa](https://genai.qa/blog/promptfoo-vs-deepeval-vs-ragas/) — 三大 GenAI 评测框架特性、指标、定价与决策矩阵对比 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。