AI Observability par OpenObserve fournit le traçage natif OpenTelemetry, le rejeu de sessions et des évaluations automatisées pour les agents IA et les LLM au sein d'une pile d'observabilité unifiée.
Fonction du produit et positionnement officiel
AI Observability par OpenObserve est une solution de surveillance des LLM et des agents qui ingère la télémétrie native OpenTelemetry pour tracer les appels de modèles, l'exécution des outils et les flux de travail des sous-agents.
La plateforme met en corrélation les traces d'applications IA avec les métriques système sous-jacentes, les journaux et les banques de données, permettant aux équipes d'évaluer la qualité des réponses et de résoudre les anomalies d'agents à l'aide de SQL et PromQL.
Cas d’usage étayés par les sources officielles
Les équipes d'ingénierie peuvent visualiser les arbres d'appels d'agents et les rejeux de sessions pour identifier les boucles d'exécution, les échecs d'outils et les goulets d'étranglement de latence.
Les équipes peuvent évaluer les requêtes LLM en direct par rapport à des références de pertinence, d'hallucination, de biais et de toxicité via LLM-as-judge ou des évaluateurs distants.
OpenObserve suit les applications basées sur des agents en affichant un graphe d'agents qui visualise les interactions entre les sous-agents, les modèles fondateurs, les outils externes et les banques de données. Des bordures à code couleur indiquent les taux d'erreur et les chemins dégradés à travers les dépendances.
L'interface de débogage de session permet aux ingénieurs de rejouer des interactions multitours. Les utilisateurs peuvent examiner la distribution des jetons, les sorties d'appels d'outils, les points chauds de latence et accéder directement aux traces distribuées sous-jacentes.
Vérifications à effectuer avec vos contenus et votre flux de travail
Sources vérifiées et date de la vérification
Réponses fondées sur la fiche produit dont les sources ont été vérifiées
Aucune ré-instrumentation n'est nécessaire si les applications émettent déjà des spans OpenTelemetry gen_ai standard ou respectent les conventions OpenInference. La solution prend en charge des frameworks tels que LangChain, CrewAI et LlamaIndex.
Les tâches d'évaluation en ligne attribuent des scores aux spans, traces ou sessions complètes entrantes à l'aide d'évaluateurs HTTP distants ou de LLM-as-judge avec un fournisseur de modèles sélectionné, en comparant les sorties à des seuils configurables.
OpenObserve peut être déployé en tant que service cloud entièrement géré sur quatre régions, auto-hébergé via un binaire Rust unique, ou configuré pour stocker les données dans les compartiments de stockage d'objets du client.
La télémétrie dans OpenObserve, incluant les traces LLM, les métriques d'infrastructure et les journaux, peut être interrogée via le moteur de corrélation unifié à l'aide de SQL et PromQL.
Les traces de production peuvent être acheminées vers des files d'annotation pour une notation manuelle combinée aux évaluateurs automatisés, et les traces révisées peuvent être converties en jeux de données d'évaluation pour de futurs tests.
