Test your prompts, agents, and RAGs. AI Red teaming & vulnerability scanning for LLMs.
promptfoo 是一个LLM 测试和安全扫描工具，用于测试提示词、AI 代理和 RAG 系统。它提供 AI 红队测试、漏洞扫描功能，支持比较 GPT、Claude、Gemini、Llama 等多个模型的性能。
测试和比较不同提示词的效果，找到最优方案。
自动检测 LLM 漏洞和安全隐患。
并行测试多个模型，比较输出质量和成本。
命令行工具和 CI/CD 集成，自动化测试流程。
测试检索增强生成系统的准确性和相关性。
测试 AI 代理的行为和决策逻辑。
# 安装 promptfoo
npm install -g promptfoo
# 初始化测试配置
promptfoo init
# 运行测试
promptfoo eval
# 生成报告
promptfoo view