telemetry.dev es una plataforma de observabilidad basada en OpenTelemetry para agentes de IA, que ofrece rastreo integral en llamadas a modelos, invocaciones de herramientas y servidores MCP.
Qué hace el producto y cómo se presenta oficialmente
telemetry.dev ofrece observabilidad y monitoreo de rendimiento para aplicaciones de IA y agentes autónomos. Construido sobre los estándares de OpenTelemetry, el sistema consolida invocaciones de modelos, eventos de recuperación y ejecuciones de herramientas en trazas unificadas, lo que permite a los equipos de ingeniería evaluar el flujo de ejecución, localizar tiempos de espera de herramientas y diagnosticar fallas operativas.
La plataforma realiza un seguimiento del consumo de tokens, puntos de referencia de latencia y métricas de costos desglosados por proveedor de modelos, sesión, marco de trabajo y usuario. Además de la visualización de trazas, telemetry.dev incluye alertas por correo electrónico para umbrales de presupuesto y bucles de agentes, controles de captura de prompts a nivel de entorno y un servidor MCP de solo lectura para el análisis automatizado de telemetría.
Casos de uso respaldados por fuentes oficiales
Los equipos de software rastrean flujos de trabajo complejos de agentes a través de respuestas de modelos de múltiples pasos y ejecuciones de herramientas para identificar cuellos de botella de latencia y localizar llamadas fallidas.
Los desarrolladores analizan conteos de segmentos, tasas de fallas y latencia p95 para herramientas MCP en interfaces de cliente y servidor para mantener la confiabilidad de las herramientas.
Los gerentes de ingeniería monitorean los volúmenes de tokens en tokens de entrada, en caché y de salida para evaluar los costos de los modelos entre diferentes proveedores y usuarios.
El proceso documentado, cuando está disponible
Identifique el marco de trabajo de la aplicación, los proveedores de modelos y el entorno de ejecución utilizando un prompt de agente de codificación o documentación de configuración directa.
Instale el SDK de TypeScript, el SDK de Python o el paquete específico para el marco de trabajo adecuado, o configure un exportador OTLP/HTTP de OpenTelemetry existente.
Configure la clave de API del proyecto y la configuración requerida del punto de conexión de telemetría dentro del entorno de destino.
Ejecute solicitudes de IA para transmitir segmentos, registros y puntos de datos de métricas directamente al panel de telemetría.
telemetry.dev modela la ejecución de aplicaciones de IA generativa agrupando operaciones individuales en trazas estructuradas. Cada traza captura la ruta de ejecución integral de un agente o solicitud, mapeando prompts de modelos individuales, finalizaciones, pasos de recuperación y llamadas a herramientas. Los metadatos detallados revelan duraciones a nivel de paso, recuentos de tokens en entradas almacenadas en caché y no almacenadas en caché, y estados de error, lo que permite a los ingenieros ubicar cuellos de botella de latencia e integraciones rotas.
La plataforma proporciona observabilidad especializada para sistemas del Protocolo de Contexto de Modelo. Realiza un seguimiento de las ejecuciones de herramientas desde la perspectiva tanto del cliente como del servidor, agregando métricas como recuentos de segmentos, duraciones p95 y porcentajes de fallas por método de herramienta. Además, telemetry.dev proporciona un punto de conexión de servidor MCP de solo lectura, lo que permite que agentes externos de codificación o análisis inspeccionen trazas e informes de errores de manera programática.
Comprobaciones con tus propios materiales y flujo de trabajo
Qué fuentes se revisaron y cuándo
Respuestas basadas en el registro de producto con fuentes verificadas
telemetry.dev es una plataforma de observabilidad basada en OpenTelemetry para aplicaciones y agentes de IA que monitorea llamadas a modelos, ejecuciones de herramientas, recuperaciones, latencia, errores y costos de tokens.
Las aplicaciones pueden ingerir trazas utilizando el SDK oficial de TypeScript, el SDK de Python, los paquetes de integración para OpenAI y Vercel AI SDK, o cualquier exportador que admita OTLP/HTTP.
Sí, la captura de prompts se puede deshabilitar por cada entorno antes de que se almacenen los datos, lo que ayuda a reducir la retención de los contenidos de prompts y finalizaciones.
La plataforma ofrece notificaciones por correo electrónico activadas por umbrales de presupuesto, bucles infinitos de agentes, anomalías de costos y errores operativos de modelos o herramientas.
telemetry.dev monitorea segmentos de herramientas MCP, tasas de fallas y latencia p95, al tiempo que ofrece un servidor MCP de solo lectura para que los agentes de IA consulten datos de telemetría.
