Sage2 par Levanto Labs propose un harnais de recherche open source et un modèle de décision conçu pour interpréter les captures d'écran d'applications et exécuter des contrôles au clavier et à la souris.
Fonction du produit et positionnement officiel
Sage2 par Levanto Labs s'articule autour de Sage, un modèle de décision qui offre un jugement de type modèle de pointe en quelques millisecondes, accompagné de scores de confiance calibrés. Le harnais open source associé, SageCraft, démontre comment les modèles de décision peuvent évaluer des environnements graphiques et émettre des entrées de contrôle basées sur des données visuelles et de journalisation.
Le système fonctionne entièrement par le biais de canaux visuels et d'entrée standard, en utilisant des captures d'écran et des journaux de combat plutôt que l'injection ou des modifications de mémoire. Conçu comme une démonstration de recherche sous licence Apache 2.0, il inclut des outils pour rejouer des événements de session enregistrés localement sans nécessiter de connexions d'application en direct.
Cas d’usage étayés par les sources officielles
La démonstration officielle présente un cas d'usage où le harnais guide un personnage à travers des actions de jeu, la sélection d'ennemis et les soins basés sur des captures d'écran visuelles.
Les développeurs et les chercheurs peuvent charger des événements de session enregistrés dans une base de données SQLite locale pour examiner les résumés d'exécution sans avoir besoin d'une clé API active ou d'un client de jeu.
Le parcours documenté, lorsqu’il est disponible
Le harnais capture une image de la fenêtre d'application en direct, comprenant des gros plans de cibles et des cadres de joueurs.
Le système structure les données visuelles en une question de type invite pour le modèle de décision.
Le modèle Sage évalue les données visuelles et sélectionne une action correspondante parmi les options disponibles.
Le harnais valide l'action choisie et la traduit en pressions standard sur le clavier ou la souris.
SageCraft fonctionne comme un harnais open source fonctionnant sous licence Apache 2.0. Plutôt que d'interagir avec la mémoire interne de l'application ou de contourner les protections de sécurité, il s'appuie strictement sur l'observation externe par le biais de captures d'écran d'applications et d'une simulation d'entrée ordinaire.
L'intégration démontre comment les modèles de décision gèrent le branchement conditionnel à l'aide de scores de confiance calibrés, renvoyant des réponses nulles lorsque la certitude tombe en dessous des seuils opérationnels pour permettre une gestion de repli gracieuse.
Vérifications à effectuer avec vos contenus et votre flux de travail
Sources vérifiées et date de la vérification
Réponses fondées sur la fiche produit dont les sources ont été vérifiées
SageCraft est un harnais open source sous licence Apache 2.0 qui connecte le modèle de décision Sage à des fenêtres d'applications interactives à l'aide de captures d'écran et de méthodes de saisie ordinaires.
Non, il ne lit ni ne modifie la mémoire du jeu, n'injecte pas de code et ne contourne pas les mesures anti-triche, fonctionnant uniquement par le biais de captures d'écran visuelles, de journaux de combat et d'entrées standard.
Le modèle prend en charge cinq formes de réponse, comprenant oui/non, choix, échelle, étiquettes et tri, fournies à partir d'une seule API aux côtés d'un score de confiance de 0 à 1.
Oui, les événements de campagne enregistrés peuvent être chargés dans une base de données SQLite locale pour imprimer un résumé sans nécessiter de client de jeu actif ni de clé API.
Non, SageCraft n'est pas affilié, endossé ou sponsorisé par Blizzard Entertainment, et le jeu automatisé peut violer des conditions d'utilisation spécifiques.
