promptfoo 提示词与模型测评

用配置文件批量测试提示词和智能体,对比不同模型并做安全检测

需要技术AI 整理,待开发者认领开发框架
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理,可能有错。产品团队可以认领后修改。 认领这个产品

这个项目只有源代码,需要会编程才能用。

星标
2.7万
GitHub 下载量
2098
复刻
2625
主要语言
TypeScript
许可证
MIT
最近更新
复制安装指令(给 AI 编程工具)

粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里,回车就会开始安装。第一次复制前请先阅读风险提示。

这些文件由项目作者放在 GitHub 上,本站不开发、不托管这些软件,也不检测其代码;国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题

介绍

promptfoo 是用于评估和红队测试大模型应用的开源命令行工具和库,采用 MIT 许可,项目说明称其现已归入 OpenAI 并继续开源。测试用声明式配置文件编写,评估在本机运行,提示词不会离开本机。

能做什么

  • 自动测试提示词、智能体和 RAG 应用的输出,并在网页查看器中查看和分享结果
  • 并排对比 OpenAI、Anthropic、Ollama 等不同服务商模型的表现
  • 对自己的 AI 应用做红队测试和漏洞扫描,并接入 CI/CD 与代码审查流程

运行需要:Node.js 22.22 以上(推荐 24 LTS),可用 npx、npm、Homebrew 或 pip 安装;需要待测模型的 API Key,或使用 Ollama 等本地模型。

这段介绍由 AI 根据项目的公开说明整理,可能有疏漏,以项目主页为准。

评测

0 条评测

还没有评测。用过的话,来写第一条吧。

写评测