TwelveLabs의 Jockey는 대화형 인터페이스와 개발자 API를 통해 미디어 라이브러리를 인덱싱, 검색, 정리 및 편집할 수 있도록 지원하는 비디오 이해용 AI 에이전트 레이어입니다.
제품의 기능과 공식 포지셔닝
TwelveLabs의 Jockey는 비디오 및 이미지 라이브러리 전반에서 미디어 이해와 워크플로 조율을 위해 설계된 에이전트 레이어로 기능합니다. Marengo 인덱싱 모델과 Pegasus 자연어 모델을 기반으로 영상을 의미론적으로 해석하여 수동 파일 태깅, 폴더 구조화, 기존 파일 명명 규칙의 필요성을 없애줍니다.
이 도구를 통해 사용자는 자연어를 사용하여 정확한 대사나 시각적 장면을 찾고, 주제나 인물별 컬렉션으로 콘텐츠를 자동 정리하며, 새로운 편집본을 MP4 파일로 직접 제작할 수 있습니다. 또한 개발자는 API와 SDK를 통해 시스템과 상호작용하여 프레임 단위의 정확한 타임스탬프와 연결된 구조화된 JSON 메타데이터를 추출할 수 있습니다.
공식 출처로 확인된 활용 사례
비디오 에디터와 콘텐츠 크리에이터는 설명 문구를 사용하여 방대한 미디어 카탈로그에서 대사나 장면을 검색하고 가편집 하이라이트 릴을 생성합니다.
마케팅 팀은 포맷, 크리에이터, 훅별로 광고 아카이브를 분류하여 오프닝 주목도를 평가하고 출연진이나 로고 노출을 감지합니다.
애플리케이션 개발자는 API를 통해 JSON 스키마를 정의하여 비디오 파일을 수집하고, 재생 딥링크에 활용할 수 있는 프레임 단위의 정확한 타임스탬프 기반 구조화 데이터를 수신합니다.
공식 문서에 안내된 사용 절차
Claude, ChatGPT 또는 TwelveLabs REST API 및 SDK와 같이 지원되는 연동 방식을 사용하여 Jockey를 연결합니다.
비디오 및 사진 파일을 직접 업로드하거나 대상 미디어를 가리키는 공개 URL을 제출합니다.
자연어 프롬프트를 입력하여 특정 장면을 검색하거나, 컬렉션을 정리하거나, 에이전트에게 미디어 편집 및 내보내기를 지시합니다.
Jockey는 TwelveLabs의 핵심 비디오 파운데이션 모델들을 조율하는 운영 에이전트 레이어로 작동합니다. Marengo 모델이 비디오, 오디오, 이미지, 텍스트 전반에서 통합된 멀티모달 임베딩을 생성하고 Pegasus가 미디어의 서사와 맥락을 해석하는 동안, Jockey는 사용자 프롬프트에 따라 고수준의 작업을 실행합니다.
단순히 수동적인 비디오 검색에 그치지 않고, 에이전트는 엔드투엔드 미디어 조작을 촉진합니다. 사용자는 에이전트에게 관련 영상을 식별하고, 장면을 시간순 또는 주제별로 정렬하며, 프레임 단위의 정확도로 특정 구간을 트리밍하고, 완성된 MP4 편집본을 렌더링하도록 요청할 수 있습니다.
본인의 자료와 작업 흐름으로 직접 확인할 항목
확인한 출처와 확인 시점
출처를 확인한 제품 정보를 바탕으로 한 답변
Jockey는 MP4, MOV, AVI, MKV, WebM 형식의 비디오 파일과 JPEG, PNG, HEIC, HEIF, WebP, BMP, GIF 형식의 사진 파일을 지원합니다.
Jockey는 전통적인 안면 인식을 사용하거나 생체 인식 데이터베이스를 구축하지 않으며, 멀티모달 시각, 모션 및 맥락적 단서를 활용해 미디어 전반의 인물을 그룹화합니다.
계정 설정을 통해 삭제를 시작하면 원본 파일, 생성된 인덱스, 관련 메타데이터 및 기록된 사용 내역이 영구적으로 완전히 삭제됩니다.
Jockey는 의미 기반으로 미디어를 인덱싱하는 TwelveLabs의 Marengo 모델과 자연어로 비디오를 이해하는 Pegasus 모델 위에서 작동하는 오케스트레이션 레이어입니다.
사용자는 Claude 또는 ChatGPT 환경 내에서 Jockey와 직접 상호작용하거나, TwelveLabs API 및 SDK를 활용해 맞춤형 통합 솔루션을 구축할 수 있습니다.
