telemetry.dev는 AI 에이전트를 위한 OpenTelemetry 기반 관찰 가능성 플랫폼으로, 모델 호출, 도구 실행, MCP 서버 전반의 엔드투엔드 추적 기능을 제공합니다.
제품의 기능과 공식 포지셔닝
telemetry.dev는 AI 애플리케이션과 자율 에이전트를 위한 관찰 가능성 및 성능 모니터링을 제공합니다. OpenTelemetry 표준을 기반으로 구축된 이 시스템은 모델 호출, 검색 이벤트, 도구 실행을 통합 추적으로 통합하여 엔지니어링 팀이 실행 흐름을 평가하고 도구 시간 초과를 찾으며 운영 장애를 진단할 수 있도록 지원합니다.
이 플랫폼은 모델 제공업체, 세션, 프레임워크, 사용자별로 세분화된 토큰 소비량, 지연 시간 벤치마크, 비용 지표를 추적합니다. 추적 시각화 외에도 telemetry.dev는 예산 임계값 및 에이전트 루프에 대한 이메일 알림, 환경 수준의 프롬프트 캡처 제어, 자동화된 텔레메트리 분석을 위한 읽기 전용 MCP 서버를 포함합니다.
공식 출처로 확인된 활용 사례
소프트웨어 팀은 다단계 모델 응답 및 도구 실행 전반에서 복잡한 에이전트 워크플로를 추적하여 지연 시간 병목 현상을 파악하고 실패한 호출을 정확히 찾아냅니다.
개발자는 클라이언트 및 서버 인터페이스 모두에서 MCP 도구의 스팬 수, 실패율, p95 지연 시간을 분석하여 도구의 안정성을 유지합니다.
엔지니어링 관리자는 입력, 캐시, 출력 토큰 전반의 토큰 볼륨을 모니터링하여 다양한 제공업체 및 사용자 간의 모델 비용을 평가합니다.
공식 문서에 안내된 사용 절차
코딩 에이전트 프롬프트 또는 직접 설정 문서를 사용하여 애플리케이션 프레임워크, 모델 제공업체 및 런타임 환경을 식별합니다.
적절한 TypeScript SDK, Python SDK, 프레임워크 전용 패키지를 설치하거나 기존 OpenTelemetry OTLP/HTTP 익스포터를 구성합니다.
대상 환경 내에서 프로젝트 API 키와 필수 텔레메트리 엔드포인트 설정을 구성합니다.
스팬, 로그, 메트릭 데이터 포인트를 텔레메트리 대시보드로 직접 전송하기 위해 AI 요청을 실행합니다.
telemetry.dev는 개별 작업을 구조화된 추적으로 그룹화하여 생성형 AI 애플리케이션의 실행을 모델링합니다. 각 추적은 에이전트 또는 요청의 엔드투엔드 실행 경로를 캡처하여 개별 모델 프롬프트, 완료, 검색 단계 및 도구 호출을 매핑합니다. 상세한 메타데이터는 단계별 지속 시간, 캐시된 입력과 캐시되지 않은 입력 전반의 토큰 수, 오류 상태를 표시하여 엔지니어가 지연 시간 병목 현상과 손상된 연동을 찾을 수 있도록 지원합니다.
이 플랫폼은 모델 컨텍스트 프로토콜(MCP) 시스템을 위한 특화된 관찰 가능성을 제공합니다. 클라이언트 및 서버 관점 모두에서 도구 실행을 추적하여 도구 메서드별 스팬 수, p95 지속 시간, 실패율과 같은 지표를 집계합니다. 또한 telemetry.dev는 읽기 전용 MCP 서버 엔드포인트를 제공하여 외부 코딩 또는 분석 에이전트가 프로그래밍 방식으로 추적 및 오류 보고서를 검사할 수 있도록 합니다.
본인의 자료와 작업 흐름으로 직접 확인할 항목
확인한 출처와 확인 시점
출처를 확인한 제품 정보를 바탕으로 한 답변
telemetry.dev는 AI 애플리케이션 및 에이전트를 위한 OpenTelemetry 기반 관찰 가능성 플랫폼으로 모델 호출, 도구 실행, 검색, 지연 시간, 오류 및 토큰 비용을 모니터링합니다.
애플리케이션은 공식 TypeScript SDK, Python SDK, OpenAI 및 Vercel AI SDK용 통합 패키지 또는 OTLP/HTTP를 지원하는 모든 익스포터를 사용하여 추적 데이터를 수집할 수 있습니다.
예, 데이터가 저장되기 전에 환경별로 프롬프트 캡처를 비활성화할 수 있어 프롬프트와 완료 텍스트 내용이 저장소에 보존되는 것을 줄일 수 있습니다.
이 플랫폼은 예산 임계값, 에이전트 무한 루프, 비용 이상 징후, 모델 또는 도구 운영 오류에 의해 트리거되는 이메일 알림을 제공합니다.
telemetry.dev는 MCP 도구 스팬, 실패율, p95 지연 시간을 모니터링하는 동시에 AI 에이전트가 텔레메트리 데이터를 쿼리할 수 있는 읽기 전용 MCP 서버를 제공합니다.
