AgentScore
Latitude 的 AgentScore 能够利用摄取的链路追踪数据，从成果、可靠性、成本、速度和安全性五个核心维度，对生产环境中的 AI 智能体展开全面评估并生成量化指标。
编程&IT基于成果、可靠性、成本等维度的生产链路追踪实证计算综合评分检查特定的生产链路追踪 Span，包括智能体运行、LLM 生成以及工具检索发现重复出现的失败模式，并将其回溯追溯至具体的独立会话将观察到的生产环境失败案例转换为可复现的评测基准
- 预计月访问量
- 10.1万 数据月份:
- 收录于 AIToolly
AgentScore 是什么？产品概览
产品用途与官方定位
AgentScore 是 Latitude 平台中的一项评估功能，能够将生产环境的链路追踪数据转化为统一的评估评分。它从成果、可靠性、成本、速度和安全性这五个关键维度对人工智能智能体展开综合评估。
该工具并不依赖合成评测基准，而是要求通过 OpenTelemetry 或现有链路追踪源提供真实的生产实证。为了显示评分，智能体必须在至少 1,000 个合格会话中达到预定义的覆盖率、流量与置信度门限阈值。
AgentScore 可以用来做什么？
有官方来源支持的使用场景
评估生产环境智能体质量
团队可以通过 OpenTelemetry 摄取线上实时会话追踪，跨五个不同的运行维度衡量智能体的实际成效与表现。
失败分析与评测构建
工程师能够审查失败的生产会话以识别负面行为模式，并将其转化为持续运行的评测基准套件。
引导编程智能体修复
开发者可通过 MCP 将生产失败实证提供给编程智能体，从而实现针对性代码修复并验证发布后的改善效果。
如何使用 AgentScore
官网提供的使用流程
- 1
连接生产链路追踪
通过 OpenTelemetry 或现有的链路追踪配置，将实时智能体执行追踪数据手动发送至 Latitude。
- 2
累积实证并满足门限
让平台在 7、14、21 或 28 天的窗口期内收集至少 1,000 个合格会话，直至通过流量、覆盖率及置信度门限。
- 3
检查失败模式
查看生成的评分结果，识别拖累智能体表现的具体维度，并进一步深入探查单个失败的会话详情。
- 4
将失败案例转化为评测
基于已识别的生产失败案例配置评测集，以便在后续会话中持续监控智能体的运行行为。
- 5
发布修复并进行验证
利用 MCP 向编程智能体提供追踪实证，部署更新后的智能体代码，并追踪其对后续生产会话的实际影响。
评分方法论与准入门槛
AgentScore 在发布评分前依赖于严格的统计学标准。智能体必须累积至少 1,000 个合格的生产会话后方可计算评分。此外，相关实证数据必须在所有五个评估维度上同时通过流量、覆盖率与置信度门限。
评分会在满足资格要求的最短整周周期（7 天、14 天、21 天或 28 天）内进行计算。每个计算出的评分都会附带一个 95% 置信区间，确保在评估智能体性能时能够清晰展示其统计不确定性。
- 涵盖五个独立维度：成果、可靠性、成本、速度和安全性。
- 需要至少 1,000 个合格生产会话以满足数据准入门限。
- 在 7、14、21 或 28 天的整周时间窗口内计算各项指标。
- 为计算出的评分提供 95% 置信区间支持。
- 当接入的实证数据无法满足门限要求时，将暂缓输出评分。
选择 AgentScore 前需要测试什么
用自己的素材和工作流完成验证
- 确认您的应用程序架构支持发送 OpenTelemetry 追踪数据或与现有的链路追踪系统进行集成对接。
- 验证您的智能体能够产生足够的生产调用量，以达到至少 1,000 个会话的最低准入门限。
- 检查您的开发工作流程是否能够利用模型上下文协议（MCP）向编程智能体传递链路追踪实证。
- 在预期获取评分之前，请仔细审查所有五个评分维度对应的覆盖率与置信度门限要求。
AgentScore 来源与核对时间
核对了哪些信息以及核对时间
- 最后核对
- 分类
- 编程&IT
AgentScore 常见问题
基于已核对产品资料的回答
AgentScore 衡量哪些维度？
AgentScore 从五个核心维度全面评估生产会话，具体包括成果、可靠性、成本、速度以及安全性，从而构建综合的量化表现视图。
生产链路追踪数据是如何摄取到平台中的？
链路追踪数据可以通过 OpenTelemetry 标准进行连接，也可以从现有的追踪架构中接入，或者通过配置 Latitude AI 技能提示来完成集成。
获得评分的最低准入资格要求是什么？
智能体必须累积至少 1,000 个合格的生产会话，并且在全部五个维度上均必须完全满足流量、覆盖率以及置信度门限的统计验证要求。
AgentScore 使用哪些时间窗口进行评估？
AgentScore 会在满足准入资格要求的最短整周周期内评估会话，支持可选的评估时间窗口包括 7 天、14 天、21 天或 28 天。
开发者如何利用 AgentScore 的实证来解决问题？
开发者可以审查失败的生产会话，将其转化为持续的评测基准，并通过模型上下文协议（MCP）将实证直接传递给编程智能体以支持排查和修复。
