Promptfoo
用于对提示词、Agent、RAG 系统和 LLM 应用进行评估与红队测试的开源 CLI 和库
仍在活跃开发：最近 90 天有 906 次提交，最近一次提交在 2026-10-01。
GitHub 星数
2.6 万
近 30 天涨星
+1,114
近 90 天提交
906
近 6 个月发版
10
Promptfoo 是一个功能全面的 CLI 和库，专为 LLM 应用的评估与红队测试而设计。它满足了 AI 系统对系统化测试和安全评估的关键需求，帮助团队摆脱试错方式，转向可靠、安全的 AI 开发。该工具支持跨多个 LLM 提供商对提示词、Agent 和 RAG 系统进行自动化评估，包括 OpenAI、Anthropic、Azure、Bedrock 和 Ollama。除基础测试外，Promptfoo 还提供高级红队测试功能，用于 LLM 应用的漏洞扫描和安全评估。它支持模型并排比较，帮助团队在模型选择和性能优化方面做出有依据的决策。该平台可无缝集成到 CI/CD 流水线中，针对与 LLM 相关的安全和合规问题执行自动化检查及拉取请求审查。通过声明式配置方式和基于 Web 的结果查看器，Promptfoo 让团队之间能够轻松共享发现并持续跟踪改进情况。该工具最近被 OpenAI 收购，同时保留其开源 MIT 许可证；超过 18,000 个 GitHub 星标和活跃的社区支持证明了其价值。
和同类工具的区别
与 LangSmith（生产环境可观测性）或 Langfuse（日志记录）不同，Promptfoo 是唯一结合评估 + 红队测试 + CI/CD 代码扫描的开源工具——现由 OpenAI 支持，同时仍完全采用 MIT 许可证
主要能力
- 自动化 LLM 评估，支持跨提供商的模型并排比较
- 针对 LLM 应用安全的红队测试和漏洞扫描
- 集成 CI/CD，实现自动化提示词回归测试
- 通过代码扫描检测 PR 中与 LLM 相关的安全和合规问题
- 通过 Web UI 可视化评估结果，并基于断言评分
- 100% 本地执行——提示词绝不离开你的机器
适合
- 通过自动化红队测试增强 LLM 应用抵御提示词注入和越狱攻击能力的团队
- 向 CI/CD 流水线添加 LLM 评估回归测试的工程团队
不太适合
- 构建或部署 AI Agent——开发 Agent 请使用 LangGraph 或 CrewAI
- 实时生产环境监控——实现可观测性请使用 LangSmith 或 Langfuse
局限
- 仅用于评估——不部署 LLM 应用，也不为其提供服务
- 复杂的评估配置需要 YAML 专业知识
- 红队测试的有效性取决于攻击策略的覆盖范围
Promptfoo 的替代品
常见问题
- Promptfoo 是做什么的？
- Promptfoo 是一个功能全面的 CLI 和库，专为 LLM 应用的评估与红队测试而设计。它满足了 AI 系统对系统化测试和安全评估的关键需求，帮助团队摆脱试错方式，转向可靠、安全的 AI 开发。该工具支持跨多个 LLM 提供商对提示词、Agent 和 RAG 系统进行自动化评估，包括 OpenAI、Anthropic、Azure、Bedrock 和 Ollama。除基础测试外，Promptfoo 还提供高级红队测试功能，用于 LLM 应用的漏洞扫描和安全评估。它支持模型并排比较，帮助团队在模型选择和性能优化方面做出有依据的决策。该平台可无缝集成到 CI/CD 流水线中，针对与 LLM 相关的安全和合规问题执行自动化检查及拉取请求审查。通过声明式配置方式和基于 Web 的结果查看器，Promptfoo 让团队之间能够轻松共享发现并持续跟踪改进情况。该工具最近被 OpenAI 收购，同时保留其开源 MIT 许可证；超过 18,000 个 GitHub 星标和活跃的社区支持证明了其价值。
- Promptfoo 还在维护吗？
- 仍在活跃开发：最近 90 天有 906 次提交，最近一次提交在 2026-10-01。
- Promptfoo 有哪些替代品？
- 和 Promptfoo 最接近的开源替代品有 ChainForge、Langfuse、phoenix、Agenta、DeepEval、UpTrain。
- Promptfoo 是开源的吗？
- 是的，Promptfoo 是开源项目，代码托管在 GitHub 上。
星数、提交和发版数据来自 GitHub API，每天自动刷新。介绍文字由 AI 从英文翻译，并经过第二个模型的回译校对。 项目地址：github.com/promptfoo/promptfoo