TwelveLabsが提供するJockeyは、対話型インターフェースや開発者向けAPIを通じてメディアライブラリのインデックス作成、検索、整理、編集を行う、動画理解のためのAIエージェントレイヤーです。
製品の機能と公式な位置づけ
TwelveLabsのJockeyは、動画および画像ライブラリ全体でのメディア理解とワークフローオーケストレーションのために設計されたエージェントレイヤーとして機能します。Marengoインデックス作成モデルとPegasus自然言語モデルの上に構築されており、映像を意味論的に解釈することで、手動でのファイルタグ付け、フォルダ階層の作成、従来の命名規則の必要性を排除します。
ユーザーは自然言語を使って特定のセリフや視覚的な瞬間を特定し、トピックや登場人物に基づいたコレクションへコンテンツを自動的に整理して、MP4ファイルとして直接新しいカットを編集・構築できます。開発者はAPIやSDK経由でシステムと連携し、フレーム精度のタイムスタンプに紐づいた構造化JSONメタデータを抽出することも可能です。
公式情報で確認できる活用例
動画編集者やコンテンツ制作者は、説明文を用いて膨大なメディアカタログを検索し、対話やシーンを特定してハイライトのラフカットを作成できます。
マーケティングチームは、フォーマット、クリエイター、フックごとにCMアーカイブを分類し、オープニングの維持率を評価するとともに、出演者やブランドロゴの露出を検出します。
アプリケーション開発者は、APIを通じてJSONスキーマを定義して動画ファイルを取り込み、再生時のディープリンクに利用できるフレーム精度のタイムスタンプ付き構造化データを取得できます。
公式情報に記載された利用手順
Claude、ChatGPT、またはTwelveLabsのREST APIやSDKなど、サポートされている連携手段を使用してJockeyを接続します。
動画や写真のファイルを直接アップロードするか、対象メディアを指すパブリックURLを提供します。
自然言語プロンプトを入力して特定の瞬間を取得したり、コレクションを整理したり、メディアの編集や書き出しをエージェントに指示したりします。
Jockeyは、TwelveLabsのコアとなる動画基盤モデルを統括する運用エージェントレイヤーとして機能します。Marengoモデルが動画、音声、画像、テキストにわたる統合されたマルチモーダル埋め込みを生成し、Pegasusモデルがメディアの文脈やナラティブを解釈する一方で、Jockeyはユーザーのプロンプトに応じた高度なタスクを実行します。
このエージェントは、単なる受動的な動画検索にとどまらず、エンドツーエンドのメディア編集を可能にします。ユーザーはエージェントに対して、関連映像の特定、時系列またはテーマごとの瞬間の配置、フレーム精度での特定区間のトリミング、完成したMP4動画のレンダリング出力を指示できます。
自分の素材とワークフローで確認したい項目
確認した情報源とその日時
情報源を確認した製品情報に基づく回答
Jockeyは、MP4、MOV、AVI、MKV、WebM形式の動画ファイルに加え、JPEG、PNG、HEIC、HEIF、WebP、BMP、GIF形式の画像ファイルをサポートしています。
Jockeyは従来の顔認識技術を使用せず、生体認証データベースも構築しません。マルチモーダルな視覚、動き、文脈の手がかりを利用して、メディア内の人物をグループ化します。
アカウント設定から削除を実行すると、元のファイル、生成されたインデックス、関連するメタデータ、および記録された利用履歴が恒久的に完全に消去されます。
Jockeyは、メディアを意味に基づいてインデックス化するMarengoモデルと、自然言語で動画を理解するPegasusモデルの上で動作するオーケストレーションレイヤーとして機能します。
ユーザーはClaudeやChatGPT環境内でJockeyを直接操作することも、TwelveLabsのAPIやSDKを利用して独自の統合システムを構築することもできます。
