返回列表
技术AI测试工具LLM

Promptfoo：LLM评估、红队测试与性能比较工具，支持GPT、Claude等主流模型

Promptfoo是一款专为大型语言模型（LLM）设计的测试工具，旨在帮助用户评估提示词、智能体和RAG系统的性能。它提供AI红队测试、渗透测试和漏洞扫描功能，并支持比较GPT、Claude、Gemini、Llama等多种主流模型的表现。该工具通过简洁的声明式配置，可与命令行及CI/CD流程无缝集成。

GitHub Trending
分享

Promptfoo是一款功能强大的工具，专注于大型语言模型（LLM）的评估与测试。它允许用户对提示词（prompts）、智能体（agents）和检索增强生成（RAGs）系统进行全面的测试。该工具提供了一系列高级功能，包括AI红队测试、渗透测试以及针对LLM的漏洞扫描，旨在帮助开发者和安全专家发现并解决潜在问题。Promptfoo的一大亮点是其跨模型性能比较能力，用户可以轻松对比GPT、Claude、Gemini、Llama等多种主流LLM的表现，从而选择最适合其应用场景的模型。此外，Promptfoo采用简洁的声明式配置方式，极大地简化了测试流程，并支持与命令行工具及持续集成/持续部署（CI/CD）流程的无缝集成，提升了开发效率和自动化水平。

阅读原文

相关新闻

技术

Google开源A2UI：代理到用户界面，优化UI表示与渲染

Google发布了名为A2UI的开源项目，旨在优化代理生成UI的表示格式，并提供一套初始渲染器。A2UI的核心在于允许代理生成或填充丰富的用户界面，为可更新的代理生成UI提供了一个优化的框架。

技术

Fish Speech：SOTA开源文本转语音（TTS）技术亮相GitHub

GitHub Trending上出现了一项名为“Fish Speech”的SOTA（State-Of-The-Art）开源文本转语音（TTS）项目。该项目由fishaudio发布，旨在提供先进的TTS解决方案。目前，该项目已在GitHub上提供英文和简体中文文档，预示着其在语音合成领域的潜力。

技术

Promptfoo：LLM评估与红队演练工具，支持多模型性能比较与CI/CD集成

Promptfoo是一款专为大型语言模型（LLM）评估和红队演练设计的工具。它允许用户测试提示、代理和RAG系统，对AI进行渗透测试和漏洞扫描。该工具能够比较GPT、Claude、Gemini、Llama等多种模型的性能，并通过命令行和CI/CD集成提供简单的声明式配置，优化AI开发与安全流程。