Pegasus 1.6 de TwelveLabs apporte une intelligence vidéo pour l'IA physique, transformant les séquences à la première personne et robotiques en données structurées prêtes pour l'entraînement grâce à la segmentation d'actions, au légendage dense, à l'évaluation de la qualité et au contrôle de conformité.
Fonction du produit et positionnement officiel
Pegasus 1.6 de TwelveLabs est une solution d'intelligence vidéo conçue pour convertir les vidéos à la première personne et robotiques en données structurées et prêtes pour l'entraînement des modèles d'IA physique.
La plateforme permet aux équipes de segmenter les actions, de générer des descriptions denses du contexte de la scène, d'évaluer la qualité visuelle, d'effectuer des recherches en langage naturel et de signaler les données personnelles sensibles avant toute révision ou traitement en aval.
Cas d’usage étayés par les sources officielles
Les laboratoires de robotique peuvent transformer des séquences brutes égocentrées et robotiques en ensembles de données d'entraînement structurés dotés d'actions horodatées et de légendes d'interaction.
Les fournisseurs de données commerciaux peuvent standardiser leurs schémas de livraison, noter la qualité des clips et vérifier les exigences de consentement avant la remise aux acheteurs.
Les équipes spécialisées en IA physique peuvent interroger de vastes archives vidéo en langage naturel pour détecter des anomalies rares, des événements atypiques et des scènes en double.
Le parcours documenté, lorsqu’il est disponible
Identifier les moments pertinents et filtrer les séquences brutes selon les exigences spécifiques de la tâche avant de les transmettre en aval.
Vérifier les séquences par rapport à des critères comportementaux, visuels et de confidentialité en évaluant la stabilité, le cadrage, l'occlusion et la présence de données personnelles.
Renvoyer des sorties JSON structurées et horodatées que les équipes peuvent examiner, filtrer et intégrer directement dans leurs flux de travail d'apprentissage automatique.
La plateforme convertit les séquences vidéo égocentrées et robotiques brutes en données structurées adaptées aux taxonomies de tâches personnalisées. Elle identifie des étapes distinctes et horodatées pouvant être associées à des listes de verbes et des hiérarchies d'actions définies par l'utilisateur.
Pour les politiques robotiques guidées par le langage, le système produit des descriptions en langage naturel détaillant les interactions main-objet, les relations spatiales et la dynamique contextuelle des scènes sans nécessiter d'outils de transcription ou de cadrage distincts.
Afin d'écarter les enregistrements de mauvaise qualité des pipelines de modèles, la solution évalue la stabilité des séquences, le cadrage, l'occlusion visuelle et la clarté des actions à l'aide d'invites de qualité configurables.
Le processus de vérification intègre également des contrôles de conformité automatisés qui repèrent les mineurs ainsi que les informations personnelles identifiables, telles que les visages, plaques d'immatriculation, badges et documents, avant toute livraison.
Vérifications à effectuer avec vos contenus et votre flux de travail
Sources vérifiées et date de la vérification
Réponses fondées sur la fiche produit dont les sources ont été vérifiées
La plateforme traite les vidéos égocentrées à la première personne ainsi que les enregistrements de robots afin de préparer les données d'entraînement pour les flux d'IA physique.
Oui, les équipes peuvent intégrer leurs propres listes de verbes, hiérarchies d'actions et niveaux de granularité pour mapper les actions détectées dans la vidéo.
Le système attribue des scores aux séquences en fonction de la stabilité du clip, du cadrage, de l'occlusion visuelle et de la netteté des actions avant tout examen manuel.
La plateforme signale les informations personnelles identifiables telles que les visages, les plaques d'immatriculation, les documents et les badges, ainsi que la présence de mineurs.
Les résultats sont fournis sous forme d'enregistrements JSON structurés et horodatés, accessibles via une API officielle et un SDK prenant en charge les tâches asynchrones.
