AgentScore

LatitudeのAgentScoreは、取り込まれたトレースを用いて本番AIエージェントを成果、信頼性、コスト、速度、安全性の5つの観点から総合的に評価します。

コードとIT成果、信頼性、コスト、速度、安全性にわたる本番トレースの証拠に基づいて総合スコアを…エージェントの実行、LLM補完、ツール検索など特定の本番トレーススパンを詳細に調査繰り返し発生する失敗パターンを浮き彫りにし、個々のセッションまで追跡観測された本番の失敗を再現可能な評価ベンチマークへと変換

推定月間訪問数: 10.1万
AIToolly 掲載日: 2026年9月25日

AgentScore とは？製品概要

製品の機能と公式な位置づけ

AgentScoreはLatitudeプラットフォーム内の評価機能であり、本番環境のトレースを統合された評価スコアに変換します。成果、信頼性、コスト、速度、安全性の5つの主要ディメンションにわたってAIエージェントを評価します。

合成ベンチマークに依存するのではなく、OpenTelemetryまたは既存のトレースソース経由で送信される実際の本番証拠を必要とします。スコアを表示するには、エージェントは最低1,000件の適格セッション全体で所定のカバレッジ、トラフィック、信頼性の閾値をクリアする必要があります。

AgentScore で何ができますか？

公式情報で確認できる活用例

本番エージェント品質の評価

チームはOpenTelemetryを介してライブセッションのトレースを取り込み、5つの異なる運用ディメンションにわたってエージェントの成功度を測定します。

失敗分析と評価ベンチマークの作成

エンジニアは失敗した本番セッションを詳細に調査して問題のある挙動パターンを特定し、それらを継続的な評価ベンチマークへと変換します。

コーディングエージェントを用いた修正の推進

開発者は本番の失敗証拠をMCP経由でコーディングエージェントに提供し、ピンポイントなコード修正の実装とその後のリリース影響の検証を行います。

AgentScore の使い方

公式情報に記載された利用手順

1
本番トレースの接続
OpenTelemetryを手動で設定するか既存のトレーシング構成を利用して、ライブエージェントの実行トレースをLatitudeに送信します。
2
証拠の蓄積と基準の達成
7日、14日、21日、または28日間のウィンドウでプラットフォームが最低1,000件の適格セッションを収集し、トラフィック、カバレッジ、信頼性の基準を通過するまで待機します。
3
失敗パターンの調査
算出されたスコアを確認し、エージェントのパフォーマンスのボトルネックとなっているディメンションを特定して、個々の失敗セッションへとドリルダウンします。
4
失敗事例の評価ベンチマーク化
特定された本番の失敗事例に基づいて評価を設定し、その後のセッションにわたってエージェントの挙動を継続的に監視します。
5
修正の適用と検証
MCPを使用してトレースの証拠をコーディングエージェントに提供し、更新されたエージェントコードをデプロイして、その後の本番セッションへの影響を追跡します。

スコアリング方法論と適格性ゲート

AgentScoreはスコアを報告する前に厳密な統計基準に依存します。スコアを算出するには、エージェントが最低1,000件の適格な本番セッションを蓄積する必要があります。また、その証拠は5つの評価ディメンションすべてにわたってトラフィック、カバレッジ、および信頼性のゲートを通過しなければなりません。

スコアリングは、適格要件を満たす最短の週単位の期間（7日、14日、21日、または28日）にわたって実施されます。算出された各スコアには95%の信頼区間が付随し、パフォーマンスを評価する際に不確実性が明確に示されます。