telemetry.dev

telemetry.devは、AIエージェント向けOpenTelemetryベースのオブザーバビリティプラットフォームであり、モデル呼び出し、ツール実行、MCPサーバーにわたるエンドツーエンドのトレース機能を提供します。

コードとITモデル呼び出し、ツールステップ、セッション状態にわたるマルチターンAIエージェント…ステータス、環境、フレームワーク、セッション識別子によるトレースのフィルタリング。特定の外部ツールおよびエンドポイントにおけるp95レイテンシと失敗率の追跡。TypeScriptやPythonのSDK、または汎用OTLP/HTTPエクスポー…

telemetry.dev product interface screenshot

AIToolly 掲載日: 2026年11月12日

telemetry.devとは？製品概要

製品の機能と公式な位置づけ

telemetry.devは、AIアプリケーションおよび自律型エージェント向けのオブザーバビリティとパフォーマンス監視を提供します。OpenTelemetry標準に基づいて構築されており、モデル呼び出し、リトリーバルイベント、ツール実行を統合トレースに集約することで、エンジニアリングチームが実行フローを評価し、ツールのタイムアウトを特定して、運用上の障害を診断できるようにします。

本プラットフォームは、モデルプロバイダー、セッション、フレームワーク、ユーザーごとに分類されたトークン消費量、レイテンシベンチマーク、コストメトリクスを追跡します。トレースの可視化に加えて、telemetry.devには予算しきい値やエージェントの無限ループに対するメールアラート、環境レベルのプロンプト取得制御、自動テレメトリ分析のための読み取り専用MCPサーバーが含まれています。

telemetry.devで何ができますか？

公式情報で確認できる活用例

AIエージェント実行のトレース

ソフトウェアチームが、複数ステップにわたるモデルレスポンスやツール実行を伴う複雑なエージェントワークフローを追跡し、レイテンシのボトルネックや失敗した呼び出しを特定します。

Model Context Protocolのパフォーマンス監視

開発者がクライアントとサーバー双方のインターフェースでMCPツールのスパン数、失敗率、p95レイテンシを分析し、ツールの信頼性を維持します。

LLMの支出およびトークン会計

エンジニアリングマネージャーが入力、キャッシュ、出力の各トークン量を監視し、異なるプロバイダーやユーザー間でのモデルコストを評価します。

telemetry.devの使い方

公式情報に記載された利用手順

1
スタックの検出
コーディングエージェント用のプロンプトまたは直接のセットアップドキュメントを使用して、アプリケーションフレームワーク、モデルプロバイダー、実行環境を特定します。
2
SDKまたはエクスポーターの導入
適切なTypeScript SDK、Python SDK、フレームワーク固有のパッケージをインストールするか、既存のOpenTelemetry OTLP/HTTPエクスポーターを設定します。
3
認証情報および環境変数の設定
対象の環境内で、プロジェクトAPIキーおよび必要なテレメトリエンドポイントの設定を構成します。
4
計装済みトレースの生成
AIリクエストを実行して、スパン、ログ、メトリクスデータポイントをテレメトリダッシュボードに直接送信します。

エージェントオブザーバビリティとMCPアナリティクスのアーキテクチャ

telemetry.devは、個々の操作を構造化されたトレースへとグループ化することで、生成AIアプリケーションの実行をモデル化します。各トレースはエージェントまたはリクエストのエンドツーエンドの実行パスを捕捉し、個々のモデルプロンプト、補完、リトリーバルステップ、ツール呼び出しをマッピングします。詳細なメタデータにより、ステップごとの所要時間、キャッシュされた入力と通常の入力にわたるトークン数、エラー状態が可視化され、エンジニアがレイテンシのボトルネックや統合の不具合を特定できるようになります。

本プラットフォームは、Model Context Protocol（MCP）システム向けに特化したオブザーバビリティを提供します。クライアントとサーバーの両方の観点からツール実行を追跡し、ツールメソッドごとのスパン数、p95所要時間、失敗率などのメトリクスを集計します。さらに、telemetry.devは読み取り専用のMCPサーバーエンドポイントを提供しており、外部のコーディングエージェントや分析エージェントがプログラムを通じてトレースやエラーレポートを検査できるようにします。

トレースにより、モデル呼び出し、リトリーバル操作、ツール実行が単一の視覚的タイムライン上にマッピングされます。
詳細なトークン内訳により、通常の入力、キャッシュされた入力、出力生成が区別されます。
MCPツールメトリクスにより、クライアントおよびサーバーの実装全体で失敗率とp95レイテンシが追跡されます。
読み取り専用のMCPサーバーインターフェースにより、AIエージェントがエラー、レイテンシデータ、運用メトリクスを照会できます。

telemetry.devを選ぶ前に確認すること

自分の素材とワークフローで確認したい項目

アプリケーションスタックがTypeScript SDK、Python SDK、または標準のOTLP/HTTPエクスポーターによる統合をサポートしているか確認する。
組織のデータプライバシー要件に準拠するため、本番環境でプロンプト取得を無効化する必要があるかどうかを確認する。
MCPツールの失敗率とp95レイテンシメトリクスをチェックし、クライアントとサーバーの呼び出し全体で統合のタイムアウトを特定する。
アラート設定を見直し、エージェントの実行ループや予算上限に対して通知が正しく設定されていることを確認する。