OpenObserve의 AI 관측 가능성(AI Observability) 솔루션은 통합 관측 가능성 스택 내에서 AI 에이전트와 LLM을 위한 OpenTelemetry 네이티브 트레이싱, 세션 리플레이 및 자동화된 평가 기능을 제공합니다.
제품의 기능과 공식 포지셔닝
OpenObserve의 AI 관측 가능성은 OpenTelemetry 네이티브 원격 분석 데이터를 수집하여 모델 호출, 도구 실행 및 하위 에이전트 워크플로를 추적하는 LLM 및 에이전트 모니터링 솔루션입니다.
이 플랫폼은 AI 애플리케이션 트레이스를 하위 시스템 메트릭, 로그, 데이터 저장소와 연관 분석하여 팀이 SQL 및 PromQL을 사용해 응답 품질을 평가하고 에이전트 장애를 해결할 수 있도록 지원합니다.
공식 출처로 확인된 활용 사례
엔지니어링 팀은 에이전트 호출 트리와 세션 리플레이를 시각화하여 실행 루프, 도구 실패 및 지연 시간 병목 현상을 식별할 수 있습니다.
팀은 LLM-as-judge 또는 원격 스코어러를 사용하여 관련성, 환각, 편향성 및 유해성 벤치마크를 기준으로 라이브 LLM 요청을 지속적으로 평가할 수 있습니다.
OpenObserve는 하위 에이전트, 파운데이션 모델, 외부 도구 및 데이터 저장소 간의 상호작용을 시각화하는 에이전트 그래프(Agent Graph)를 렌더링하여 에이전트 기반 애플리케이션을 추적합니다. 색상으로 구분된 테두리를 통해 의존성 전반의 오류율과 성능 저하 경로를 직관적으로 나타냅니다.
세션 디버깅 인터페이스를 통해 엔지니어는 멀티턴 대화 상호작용을 다시 재생할 수 있습니다. 사용자는 토큰 분포, 도구 호출 결과, 지연 시간 병목 지점을 점검하고 기본 분산 트레이스로 직접 이동하여 상세 내역을 확인할 수 있습니다.
본인의 자료와 작업 흐름으로 직접 확인할 항목
확인한 출처와 확인 시점
출처를 확인한 제품 정보를 바탕으로 한 답변
애플리케이션이 이미 표준 OpenTelemetry gen_ai 스팬을 내보내거나 OpenInference 규칙을 따르고 있다면 재계측할 필요가 없습니다. LangChain, CrewAI, LlamaIndex와 같은 주요 프레임워크를 기본적으로 지원합니다.
온라인 평가 작업은 원격 HTTP 스코어러 또는 선택한 모델 제공업체 기반의 LLM-as-judge 방식을 사용하여 유입되는 스팬, 트레이스 또는 전체 세션을 채점하고, 그 결과를 설정 가능한 임계값과 비교합니다.
OpenObserve는 4개 리전에서 완전 관리형 클라우드 서비스로 배포하거나, 단일 Rust 바이너리를 통해 셀프 호스팅 방식으로 배포할 수 있으며, 고객 소유의 오브젝트 스토리지 버킷에 데이터를 저장하도록 구성할 수도 있습니다.
LLM 트레이스, 인프라 메트릭, 로그를 포함한 OpenObserve 내의 원격 분석 데이터는 통합 연관 엔진 전반에서 SQL과 PromQL을 사용하여 유연하게 쿼리할 수 있습니다.
프로덕션 트레이스를 어노테이션 큐로 라우팅하여 자동화된 평가기와 함께 수동 채점을 병행할 수 있으며, 검토가 완료된 트레이스를 향후 테스트를 위한 평가 데이터셋으로 변환할 수 있습니다.
