telemetry.dev est une plateforme d'observabilité pour agents d'IA basée sur OpenTelemetry, offrant un traçage de bout en bout des appels de modèles, des outils et des serveurs MCP.
Fonction du produit et positionnement officiel
telemetry.dev fournit des fonctionnalités d'observabilité et de surveillance des performances pour les applications d'IA et les agents autonomes. Conçu selon les standards OpenTelemetry, le système regroupe les invocations de modèles, les événements de récupération et les exécutions d'outils au sein de traces unifiées, permettant aux équipes d'ingénierie d'évaluer le flux d'exécution, d'identifier les expirations de délais d'outils et de diagnostiquer les défaillances opérationnelles.
La plateforme suit la consommation de jetons, les références de latence et les métriques de coûts ventilées par fournisseur de modèle, session, framework et utilisateur. En plus de la visualisation des traces, telemetry.dev comprend un système d'alerte par e-mail pour les seuils budgétaires et les boucles d'agents, des contrôles de capture des prompts par environnement, ainsi qu'un serveur MCP en lecture seule pour l'analyse automatisée de la télémétrie.
Cas d’usage étayés par les sources officielles
Les équipes logicielles tracent les flux de travail complexes des agents à travers des réponses de modèles en plusieurs étapes et des exécutions d'outils pour détecter les goulots d'étranglement de latence et repérer les appels échoués.
Les développeurs analysent le nombre de spans, les taux d'échec et la latence p95 pour les outils MCP sur les interfaces client et serveur afin de préserver la fiabilité des outils.
Les responsables d'ingénierie surveillent les volumes de jetons en entrée, en cache et en sortie pour évaluer les coûts des modèles selon les différents fournisseurs et utilisateurs.
Le parcours documenté, lorsqu’il est disponible
Identifiez le framework applicatif, les fournisseurs de modèles et l'environnement d'exécution à l'aide d'un prompt d'agent de codage ou de la documentation de configuration directe.
Installez le SDK TypeScript approprié, le SDK Python, le package spécifique au framework ou configurez un exportateur OpenTelemetry OTLP/HTTP existant.
Configurez la clé d'API du projet ainsi que les paramètres requis de point de terminaison de télémétrie au sein de l'environnement cible.
Exécutez des requêtes d'IA afin de transmettre des spans, des journaux et des points de données métriques directement au tableau de bord de télémétrie.
telemetry.dev modélise l'exécution des applications d'IA générative en regroupant les opérations individuelles sous forme de traces structurées. Chaque trace capture le parcours d'exécution de bout en bout d'un agent ou d'une requête, cartographiant les prompts des modèles individuels, les complétions, les étapes de récupération et les appels d'outils. Des métadonnées détaillées indiquent la durée de chaque étape, le décompte des jetons pour les entrées normales ou mises en cache et les états d'erreur, permettant aux ingénieurs de localiser les goulots d'étranglement de latence et les intégrations défaillantes.
La plateforme propose une observabilité spécialisée pour les systèmes basés sur le Model Context Protocol. Elle suit l'exécution des outils du point de vue client comme serveur, agrégeant des métriques telles que le nombre de spans, la durée p95 et les pourcentages d'échec par méthode d'outil. De plus, telemetry.dev met à disposition un point de terminaison de serveur MCP en lecture seule, ce qui permet à des agents externes de codage ou d'analyse d'inspecter par programmation les traces et les rapports d'erreurs.
Vérifications à effectuer avec vos contenus et votre flux de travail
Sources vérifiées et date de la vérification
Réponses fondées sur la fiche produit dont les sources ont été vérifiées
telemetry.dev est une plateforme d'observabilité pour les applications et agents d'IA basée sur OpenTelemetry, qui surveille les appels de modèles, l'exécution d'outils, les récupérations, la latence, les erreurs et le coût des jetons.
Les applications peuvent ingérer des traces à l'aide des SDK officiels TypeScript et Python, de packages d'intégration pour OpenAI et Vercel AI SDK, ou de tout exportateur prenant en charge OTLP/HTTP.
Oui, la capture des prompts peut être désactivée par environnement avant le stockage des données, ce qui permet d'éviter que le contenu des prompts et des complétions ne soit conservé.
La plateforme propose des notifications par e-mail déclenchées par le dépassement de seuils budgétaires, des boucles infinies d'agents, des anomalies de coûts et des erreurs d'opération de modèles ou d'outils.
telemetry.dev surveille les spans des outils MCP, les taux d'échec et la latence p95, tout en fournissant un serveur MCP en lecture seule permettant aux agents d'IA d'interroger les données de télémétrie.
