Jockey by TwelveLabs
TwelveLabs 的 Jockey 是一款专为视频理解打造的 AI 智能体层，能够通过对话式交互界面与开发者 API 对媒体库进行索引、搜索、组织与剪辑。
视频基于视觉、听觉和上下文线索的多模态查询检索视频和图像档案提取映射至用户自定义 JSON 模式且带有逐帧精确时间戳的机器可读元数据直接从原始素材库组装可播放的简短概念预览和成片剪辑利用多模态运动与视觉分析在视频库中对个体进行归类，无需生物识别技术
Jockey by TwelveLabs 是什么？产品概览
产品用途与官方定位
TwelveLabs 推出的 Jockey 作为一个智能体层，旨在实现视频与图像库的媒体理解及工作流编排。它构建于 Marengo 索引模型与 Pegasus 自然语言模型之上，可从语义层面理解素材，从而不再需要手动打标签、组织文件夹结构或遵循传统命名规范。
该工具允许用户通过自然语言精准定位台词引用或视觉瞬间，自动将内容归类为按主题或角色划分的集合，并直接组装导出为 MP4 剪辑文件。开发者亦可通过 API 和 SDK 与系统交互，提取带有逐帧精确时间戳的结构化 JSON 元数据。
Jockey by TwelveLabs 可以用来做什么？
有官方来源支持的使用场景
剪辑检索与精彩合集整理
视频剪辑师与内容创作者可通过描述性语句检索庞大的媒体素材库，以定位特定对话或画面场景，并快速生成粗剪精彩合集。
广告资产审计
营销团队可按格式、出镜人员和吸睛卖点对商业广告归档进行分类，以评估开篇留存表现并检测代言人或品牌标志的露出。
程序化视频元数据提取
应用开发者可通过 API 自定义 JSON 模式来导入视频文件，从而获取带有逐帧精确时间戳的结构化数据，用于播放跳转与深度链接。
如何使用 Jockey by TwelveLabs
官网提供的使用流程
- 1
连接交互界面
通过 Claude、ChatGPT 等受支持的集成渠道，或使用 TwelveLabs 的 REST API 与 SDK 连接 Jockey。
- 2
提供媒体输入
直接上传视频与照片文件，或提交指向目标媒体的公开 URL 链接以导入素材。
- 3
查询与处理
发送自然语言提示词以检索特定片段、整理媒体合集，或命令智能体进行剪辑组装并导出媒体文件。
多模态编排与媒体组装
Jockey 作为操作型智能体层，负责协调 TwelveLabs 的核心视频基础模型。其中 Marengo 模型在视频、音频、图像与文本之间生成统一的多模态嵌入向量，Pegasus 模型解析媒体叙事与上下文语境，而 Jockey 则负责执行用户提示词所驱动的高阶任务。
该智能体不仅局限于被动视频搜索，更能促进端到端的媒体处理与操控。用户可以让智能体识别相关镜头素材、按时间顺序或主题排列片段、以帧级精度裁剪指定区间，并最终渲染导出剪辑完成的 MP4 合集视频。
- 将 Marengo 索引模型与 Pegasus 推理模型集成到对话式工作流中。
- 生成涵盖文本、音频、图像与视频内容的统一嵌入向量。
- 提供逐帧精确的时间戳分辨率，以便深度链接至指定视频片段。
- 直接将剪辑素材进行组装、排序并导出为 MP4 格式。
选择 Jockey by TwelveLabs 前需要测试什么
用自己的素材和工作流完成验证
- 确认媒体归档素材属于受支持的格式，包括 MP4、MOV、AVI、MKV、WebM 以及标准图像类型。
- 核实团队工作流计划通过 Claude、ChatGPT 还是直接通过 API 集成来访问该服务。
- 查阅平台文档中的存储配额与单文件大小上限，确保其符合素材库的体量需求。
- 审查组织的合规规范，以确认账户管理的永久删除策略满足内部数据留存要求。
Jockey by TwelveLabs 来源与核对时间
核对了哪些信息以及核对时间
- 最后核对
- 分类
- 视频
Jockey by TwelveLabs 常见问题
基于已核对产品资料的回答
Jockey 支持哪些媒体文件格式？
Jockey 支持 MP4、MOV、AVI、MKV 和 WebM 格式的视频文件，以及 JPEG、PNG、HEIC、HEIF、WebP、BMP 和 GIF 格式的图片文件。
Jockey 是否使用了面部识别技术？
Jockey 不使用传统面部识别技术，也不构建生物识别数据库；它利用多模态视觉、运动和上下文线索在媒体间对人物进行归类整理。
删除媒体文件或账户时会发生什么？
通过账户设置发起删除操作后，系统将永久清除原始文件、生成的搜索索引、关联元数据以及记录的使用历史，彻底抹除相关数据。
哪些模型为 Jockey 的功能提供了底层基础？
Jockey 作为编排层运行在 TwelveLabs 的底层模型之上，包括按语义索引媒体内容的 Marengo 模型，以及通过自然语言理解视频的 Pegasus 模型。
用户如何访问或将 Jockey 集成到自己的技术栈中？
用户可以直接在 Claude 或 ChatGPT 环境中与 Jockey 进行交互，也可以使用 TwelveLabs API 和 SDK 构建定制化集成方案。
