ANALYSIS / VERIFIED REPORT
后GPT-6时代,具身数据怎么做?Ropedia发布Xperience 2,给出下一代数据基石金标准
11 月 9 日,Anthropic 发布 Claude Fable 5.2。据报道,它在机器人控制基准 RoboDojo 上拿到 64.9% 的成绩,是上一代 Fable 5.1(27.6%)的两倍多。而就在两个月前,GPT-6 Astra 刚以 22.48% 的平均成功率登顶这一榜单,超过全部 40 个公开策略。 通用大模型的具身能力正以惊人的速度提升,但榜单上的分数,还不等于真实世界里的能力。在一项联合研究 [1] 中,GPT-6 Astra 被部署到 8 种真机配置上:插插头 11 次尝试全部失败,长程导航找物 23 次尝试中仅成功 9 次。研究者的判断是,它已具备初步的具身能力,但距离实用仍有差距。 如何让通用大模型更好地控制机器人,在真实环境中连续完成更长、更复杂的任务?模型既需要可供学习的行为示范,也需要能执行任务、积累经验的环境。大模型有 Scaling Law,物理智能的 Scaling Law 又在哪里?要回答这个问题,首先得弄清楚:该扩展怎样的环境与行为数据,又该如何持续生产和使用? 近日,Physical AI 初创公司 Ropedia 正式发布 Xperience 2,给出了自己的答案: Ropedia Xperience 2 是一套面向 Physical AI 的真实环境与行为数据集,它将真实场景扫描与人的第一视角活动记录相结合,在同一度量坐标系中对齐场景几何、录像、轨迹和身体姿态。 基于这些数据,Ropedia 将人的动作转换为机器人轨迹,并将扫描场景转换为可交互的仿真环境。 Ropedia 希望以这种真实采集、精准对齐、覆盖多样且可复用的环境 - 行为一体化数据,建立下一代具身数据的 “金标准”,为后 GPT-6 时代物理智能在环境与行为数据上的规模定律奠定数据基础。 技术报告:Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors 报告链接:https://arxiv.org/abs/2611.17060 项目主页:https://ropedia.com/xperience/2-research 数据集:https://huggingface.co/datasets/ropedia-ai/Ropedia-Xperience-2 1,812 个场景组成 Xperience 的 X。 物理智能的「金标准」数据:环境与行为,缺一不可 扫描、记录与对齐:让每个行为有真实环境参照 Xperience 2 为每段任务录像保留对应的场景重建。视频中的相机轨迹、手部和全身动作被放进同一个三维坐标系,与房间的几何和布局对齐。使用者可以回看人怎样在这个房间里行动,也可以继续利用这些记录构建机器人任务。 以把杯子放进橱柜为例,视频能记录取杯、开门、放入和关门的过程,供模型学习动作和顺序。机器人真正做这件事时,还需要知道杯子在哪里、柜门朝哪边开、自己的手臂能否够到,以及怎样判断任务完成。这些信息需要结合场景的几何和物体状态来确定。光有录像,机器人还没有一个能试做这项任务的环境。 而只有仿真场景,同样不够。仿真场景让机器人有了练习的地方,人的示范则能提供起步的方法。缺少示范时,抓杯子的位置、开柜门的方向和放杯子的动作都可能需要反复探索,还要设计相应的奖励。任务步骤越多,这样训练的成本往往越高。 现有数据集通常侧重其中一类。ScanNet++、Realsee3D 和 DL3DV-10K 提供三维场景重建和相机位姿,没有对应的人类第一视角任务录像;EPIC Fields、Nymeria 和 HD-EPIC 记录了人的活动和相机位姿,但大多不提供场景网格。 Xperience 2 把场景和人的示范放在一起。两者对齐后,人的动作有了明确的空间参照,可以根据机器人的身体结构转换成运动轨迹,再放回同一场景中检查。原始录像由此可以继续用于机器人的动作研究。 场景完成交互配置后,还可以设定杯子的位置、柜门状态和机器人起点,让机器人在里面执行任务。没抓住杯子、把杯子放在柜子边缘,或者忘了关门,都能根据物体状态判定并记录。失败后重新加载场景,就能再试一次;换一组初始条件,还可以继续采集新的轨迹。 录像与场景对齐后的各层数据:网格、3DGS、第一视角视频、头部轨迹、双手和全身姿态,以及三个时间尺度的活动标注,位于同一个度量坐标系中。 这套采集延续了 Ropedia 在第一视角数据上的积累。此前的 Xperience-10M 包含约 1,000 万个真实世界交互片段、1 万小时第一视角视频与音频。Xperience 2 在这些行为记录之外增加了场景扫描与空间对齐,让每段活动都有对应的真实环境。同一次扫描可以供这个场景中的多段