Levanto LabsによるSage2は、アプリケーションのスクリーンショットを解釈し、キーボードとマウスの操作を実行するように設計されたオープンソースの研究用ハーネスと決定モデルを備えています。
製品の機能と公式な位置づけ
Levanto LabsによるSage2は、ミリ秒単位でフロンティアモデルの判断を提供し、調整された信頼度スコアを伴う決定モデルであるSageを中心に構築されています。付属のオープンソースハーネスであるSageCraftは、決定モデルが視覚データやログデータに基づいてグラフィカル環境を評価し、制御入力を発行できる方法を示しています。
システムは視覚的および標準的な入力チャネルを介して完全に動作し、メモリインジェクションや変更ではなく、スクリーンショットや戦闘ログを利用します。Apache 2.0ライセンスの下での研究デモンストレーションとして設計されており、ライブアプリケーション接続を必要とせずに記録されたセッションイベントをローカルでリプレイするためのツールが含まれています。
公式情報で確認できる活用例
公式のデモンストレーションでは、ビジュアルのスクリーンショットに基づいて、ハーネスがゲームプレイのアクション、敵の選択、ヒールを通じてキャラクターを導くユースケースを提示しています。
開発者や研究者は、記録されたセッションイベントをローカルのSQLiteデータベースにロードすることで、アクティブなAPIキーやゲームクライアントを必要とせずに実行サマリーを確認できます。
公式情報に記載された利用手順
ハーネスは、ターゲットのクローズアップやプレイヤーフレームを含む、ライブアプリケーションウィンドウの画像をキャプチャします。
システムは視覚データを決定モデルのためのプロンプト質問に構造化します。
Sageモデルは視覚データを評価し、利用可能なオプションから対応するアクションを選択します。
ハーネスは選択されたアクションを検証し、標準的なキーボードまたはマウスの押し込みに変換します。
SageCraftは、Apache 2.0ライセンスの下で動作するオープンソースハーネスとして機能します。内部アプリケーションメモリと対話したりセキュリティ保護をバイパスしたりするのではなく、アプリケーションのスクリーンショットと通常の入力シミュレーションを通じた外部観察に厳密に依存しています。
この統合は、決定モデルが調整された信頼度スコアを使用して条件分岐を処理する方法を示しており、確実性が動作閾値を下回った場合にnull応答を返し、正常なフォールバック処理を可能にします。
自分の素材とワークフローで確認したい項目
確認した情報源とその日時
情報源を確認した製品情報に基づく回答
SageCraftは、Apache 2.0ライセンスの下にあるオープンソースハーネスであり、スクリーンショットと通常の入力方法を使用して、Sage決定モデルをインタラクティブなアプリケーションウィンドウに接続します。
いいえ、ゲームメモリの読み取りや変更、コードのインジェクション、アンチチート対策の回避を行わず、視覚的なスクリーンショット、戦闘ログ、標準入力を通じてのみ動作します。
このモデルは、はい/いいえ、選択肢、スケール、タグ、ソートを含む5つの回答形状をサポートしており、単一のAPIから0から1までの信頼度スコアとともに配信されます。
はい、記録されたキャンペーンイベントをローカルのSQLiteデータベースにロードして、アクティブなゲームクライアントやAPIキーを必要とせずにサマリーを出力できます。
いいえ、SageCraftはBlizzard Entertainmentと提携、推奨、またはスポンサーされておらず、自動プレイは特定の利用規約に違反する可能性があります。
