技术AI测试工具开源
Promptfoo：LLM评估与红队演练工具，支持多模型性能比较与CI/CD集成
Promptfoo是一款专为大型语言模型（LLM）评估和红队演练设计的工具。它允许用户测试提示、代理和RAG系统，对AI进行渗透测试和漏洞扫描。该工具能够比较GPT、Claude、Gemini、Llama等多种模型的性能，并通过命令行和CI/CD集成提供简单的声明式配置，优化AI开发与安全流程。
GitHub Trending
Promptfoo是一款功能强大的工具，专注于大型语言模型（LLM）的评估与红队演练。其核心功能包括对提示（prompts）、代理（agents）和检索增强生成（RAG）系统的全面测试。用户可以利用Promptfoo对AI系统进行红队演练、渗透测试和漏洞扫描，以识别潜在的安全风险和性能瓶颈。该工具的一大亮点是其跨模型比较能力，能够评估和对比GPT、Claude、Gemini、Llama等不同LLM的性能表现。为了方便开发者和运维团队，Promptfoo支持通过命令行进行配置，并能与持续集成/持续部署（CI/CD）流程无缝集成，提供简单且声明式的配置方式，从而简化AI模型的测试、部署和安全保障工作。