TwelveLabs发布Pegasus 1.6：专注于第一人称视频理解与机器人训练

核心要点

• 原生支持第一人称视频：Pegasus 1.6 重点攻克了以自我为中心的主观视角（Egocentric Video）理解难题，能够精确解析操作者视角下的手部动作、工具交互与环境变化。
• 自动化数据结构化：无需繁琐的人工标注流程，模型可直接对原始遥操作或穿戴设备拍摄的视频进行解析，自动输出带精确时间戳的机器人训练级元数据。
• 实体识别精度显著升级：新版本大幅提升了视频画面中实体、物体与角色的识别准确率，并在长序列片段中保持持续一致的元数据关联。
• 切入具身智能与机器人赛道：TwelveLabs 凭借该模型正式从传统通用视频内容检索，进一步延伸至物理世界人工智能（Physical AI）与机器人数据基础设施生态。

详细分析

突破主观视角：从旁观者记录到第一人称操作解析

以往的多模态视频模型多基于第三人称视角训练，即摄像头以旁观者姿态固定拍摄场景，适用于安防监控、体育赛事或影视媒资分析。然而，在工业装配、日常操作与特种作业等场景中，机器人和物理系统最需要学习的是“从作业者自身视角看世界”。

Pegasus 1.6 专门针对智能眼镜、穿戴式运动相机或机器人车载相机记录的主观视角画面进行深度架构优化。模型能够精准识别视线中心的精细作业动作，例如手部抓握姿态的调整、工具与零件的交互瞬间以及失误后的纠错过程，弥补了传统视频理解模型在微观动作因果链分析上的不足。

自动化标注流水线：破解机器人数据匮乏瓶颈

当前具身智能与人形机器人研发面临的最大瓶颈之一在于训练数据的供给。采集数千小时的操作视频相对容易，但要将非结构化的长视频切分为可供模型学习的原子动作段落，往往需要耗费大量昂贵且缓慢的人工数据标注成本。

Pegasus 1.6 充当了“视频理解到训练数据”的高效编译器。它不仅可以对复杂长视频进行精确的行为分割，还能同步输出细粒度动作描述、涉及物体的交互标签以及严格对齐的时间轴。企业仅需输入原始遥操作或作业录制视频，即可自动化获得符合格式要求的训练集，从而显著加快机器人行为策略的迭代周期。

实体识别与元数据持久化能力进阶

在多步骤的物理操作任务中，同一部件或工具可能会频繁离开并重新进入视野，传统的视频模型极易在这一过程中丢失实体追踪或出现幻觉。Pegasus 1.6 强化了实体识别架构，能够持续跟踪特定物体在连续操作中的状态变迁，确保跨动作片段的元数据描述保持高度一致，避免了标注断裂或错误指认的问题，有效保障了下游模型训练数据的准确性与可靠性。

行业影响

Pegasus 1.6 的发布标志着通用视频多模态技术正加速向“物理世界AI（Physical AI）”深度渗透。在机器人与自动化领域，大模型技术正从早期的文本语义规划，走向对连续物理动作机理的直接解析。

对于机器人研发团队与数据服务商而言，该模型提供了现成的高维度视频语义化工具，将原本极其沉重的人工清洗与标注负担转变为高度自动化的数据工程流水线。这不仅有助于降低具身智能模型的研发门槛，也将进一步推动真实人类操作经验向机器动作技能的快速转化。

常见问题

Pegasus 1.6 相比之前的版本有何核心区别？

Pegasus 1.6 的核心升级在于原生支持第一人称（Egocentric）视角的视频理解，并在实体与物体识别准确率、长时序动作切分精度以及结构化元数据生成方面实现了重要突破，全面服务于机器人与具身智能的数据训练场景。

为什么机器人训练格外需要第一人称视频？

机器人执行具体操作（如装配、抓取或使用工具）时，其感知视角与操作者的第一人称视角高度一致。第一人称视频能够直观展现手眼协同、受力调整及局部视线焦点，是训练机器人感知与动作决策最关键的数据来源。

该模型如何降低企业的开发成本？

通过自动化解析原始长视频，Pegasus 1.6 可以直接输出带精准时间戳的行为标签和结构化数据，极大减少了人工清洗、逐帧打标和动作段落分割的时间与人力开销。