具身智能数据：第一视角视频标注 - 澳鹏成功案例

了解一下前沿机器人实验室如何与 Appen 合作，对以第一视角的视频进行标注并评估机器人性能，提供超过 50,000 条具身智能数据。

介绍

一家前沿研究实验室的机器人团队与Appen公司合作，加速开发用于家庭环境的物理人工智能系统。随着该实验室的机器人团队不断扩大训练规模，以训练能够执行真实世界操作任务的模型，他们需要一个数据合作伙伴，能够提供高质量的标注和评估数据，这些数据包括以人为中心的视频和机器人性能。

挑战

为家庭环境开发物理人工智能系统面临几个关键挑战：

• 真实世界机器人数据的匮乏：与可以利用海量网络抓取数据集进行训练的语言或视觉模型不同，真实世界的机器人操作数据必须进行定制收集和标注。现有的开源数据集对家庭任务的覆盖范围有限，因此，高质量的、标注完整的以用户视角为中心的视频数据是模型改进的关键瓶颈。
• 评估机器人的物理性能是一项精细的工作：评估机器人性能不能仅仅依靠简单的合格/不合格判断。评估人员需要接受培训，学习如何对运动效率和抓取精度等细微的性能维度进行细致的定性评估。

解决方案

利用 Appen 庞大的全球员工队伍，迅速将项目扩展到多个标注和评估工作流程中：

• 对以自我为中心的人类视频进行标注，以创建用于训练物理人工智能的动作标注数据集。这包括将视频分割成细小的任务片段，并为每个片段标注时间戳、任务类型、手部姿势和自然语言描述。
• 根据评分标准对以自我为中心的人类视频进行评估，该评分标准涵盖了诸如任务完成不完整、环境不切实际以及无关的人类参与者等失败模式。
• 通过对运动效率、抓取精度和物体操作等关键维度上的任务执行情况进行评分，来评估远程操作机器人的性能。

结果

Appen 迄今为止已通过综合标注和评估工作流程交付了 50,000 多条数据，使客户能够提高其物理 AI 系统在家庭环境中的性能。

结论

Appen 与前沿研究实验室的此次合作，充分展现了可扩展、高质量的人工标注和评估如何助力物理人工智能领域的进步。通过将 Appen 的全球人才队伍与专为物理人工智能构建的结构化工作流程相结合，此次合作提供了精细的视频标注和细致的机器人性能评估，从而推动了实质性的改进。

在 Appen，我们致力于与处于物理人工智能前沿的团队合作。请通过以下方式联系我们，了解我们如何帮助您推进物理人工智能系统的发展。