Opik 大模型应用评估监控

记录和评估大模型应用与智能体的每次调用,帮助排查和改进

打开就用AI 整理,待开发者认领开发框架
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理,可能有错。产品团队可以认领后修改。 认领这个产品
星标
2.3万
复刻
1915
主要语言
Python
许可证
Apache-2.0
最近更新
复制安装指令(给 AI 编程工具)

粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里,回车就会开始安装。第一次复制前请先阅读风险提示。

这些文件由项目作者放在 GitHub 上,本站不开发、不托管这些软件,也不检测其代码;国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题

介绍

Opik 是 Comet 公司开源的大模型应用观测与评估平台,用于调试、评估和监控大模型应用、RAG 系统和智能体流程。它能记录每次模型调用和多步智能体的工具调用,支持用代码指标或“大模型评审”指标打分,并提供生产监控面板。可以免费自托管,也可使用 Comet 的云服务。

能做什么

  • 追踪大模型调用和智能体的每一步,便于排查问题
  • 用数据集和实验评估幻觉、答案相关性等指标,并接入 CI 测试
  • 在面板中监控线上反馈分数、调用量和 token 用量,并优化提示词

运行需要:自托管可用 Docker Compose 或 Kubernetes(Helm),接入用 Python 或 TypeScript SDK;可对接 OpenAI、Ollama、LiteLLM、LangChain 等多种模型和框架。

这段介绍由 AI 根据项目的公开说明整理,可能有疏漏,以项目主页为准。

评测

0 条评测

还没有评测。用过的话,来写第一条吧。

写评测