Pegasus 1.6 by TwelveLabs
TwelveLabs 推出的 Pegasus 1.6 为物理 AI 提供视频智能分析能力,能够通过动作分割、稠密字幕生成、质量评分和合规性标记,将第一人称视角与机器人拍摄的原始素材转化为结构化且可直接用于模型训练的高质量数据。
TwelveLabs 推出的 Pegasus 1.6 为物理 AI 提供视频智能分析能力,能够通过动作分割、稠密字幕生成、质量评分和合规性标记,将第一人称视角与机器人拍摄的原始素材转化为结构化且可直接用于模型训练的高质量数据。
产品用途与官方定位
TwelveLabs 的 Pegasus 1.6 是一款专为物理 AI 数据管线打造的视频智能解决方案,旨在将第一人称视角和机器人原始视频转化为结构化、可直接用于训练的高质量数据。
该平台使团队能够在人工审核或下游处理之前,执行动作分割、生成场景上下文的稠密描述、评估视觉质量、使用自然语言检索视频库,并自动标记敏感的个人隐私数据。
有官方来源支持的使用场景
机器人实验室可将原始的第一人称及机器人拍摄素材,转化为包含时间戳动作和交互描述的结构化训练数据集。
商业数据供应商可以在向采购方交付数据之前,统一交付数据架构、对视频片段质量进行打分,并严格验证许可合规要求。
物理 AI 研发团队能够使用自然语言检索庞大的视频档案库,从中发掘长尾异常情况、罕见事件以及重复出现的场景。
官网提供的使用流程
在将视频发送到下游之前,识别有价值的关键时刻,并根据具体的任务需求对原始素材进行细致筛选。
对照行为、视觉和隐私标准检查视频素材,综合评估摄像机稳定性、构图画幅、遮挡情况以及个人身份信息的出现。
返回带有时间戳的结构化 JSON 输出,团队可对其进行复核、过滤,并直接接入机器学习数据工作流中。
该平台能够将第一人称视角及机器人拍摄的原始视频,转化为与自定义任务结构高度对齐的结构化数据。系统能够识别带有时间戳的离散步骤,并将其准确映射到用户提供的动词列表与动作层级结构中。
针对受语言条件控制的机器人策略,系统可自动生成自然语言描述,详尽说明手部与物体的交互、空间位置关系以及动态场景上下文,无需再拼凑独立的转录或取景工具。
为了防止低质量录像混入模型训练管线,该解决方案采用可配置的质量提示词,对视频片段的稳定性、画幅构图、视觉遮挡以及动作清晰度进行全方位评估。
该筛查流程还在数据交付前集成了自动化合规检查,能够精准定位未成年人以及人脸、车牌、证件和工牌等个人身份信息(PII)。
用自己的素材和工作流完成验证
核对了哪些信息以及核对时间
基于已核对产品资料的回答
该平台专门处理第一人称视角视频和机器人录像素材,将其深度加工并生成适用于物理 AI 工作流的模型训练数据。
可以,团队可以导入自定义的动词列表、动作层级体系和粒度规范,从而将视频中检测到的各项动作精确映射到自身的业务标准中。
在进入人工审核环节之前,该系统可基于视频片段的稳定性、画幅构图、视觉遮挡程度以及动作清晰度等多项指标对素材进行综合评分。
该平台能够自动识别并标记各类个人身份信息,包括人脸、车辆号牌、文件证件和工作胸牌,同时还能有效检测画面中的未成年人。
分析结果以带有时间戳的结构化 JSON 记录形式交付,团队可通过官方提供的 API 以及支持异步任务处理的专用 SDK 灵活调用和集成。