关键观点
机器人仍未跨过四堵基础高墙
开场演讲认为,当前视频世界模型不能稳定遵守真实物理规律,仿真到现实的迁移仍未解决,柔性物体和动作条件下的状态转移尤其困难。动作空间缺乏能够支持快速学习的有效表示。机器人还远没有人类皮肤所提供的…展开观点收起观点
开场演讲认为,当前视频世界模型不能稳定遵守真实物理规律,仿真到现实的迁移仍未解决,柔性物体和动作条件下的状态转移尤其困难。动作空间缺乏能够支持快速学习的有效表示。机器人还远没有人类皮肤所提供的法向力、切向力、湿度、温度、振动和摩擦信息。长期运行中的灰尘、腐蚀、电池衰减和执行器变化又会造成机体漂移,使既有遥操作数据逐渐失效。
为什么重要: 这些问题解释了为什么演示能力不能直接等同于可长期部署的通用机器人,也说明扩大遥操作数据规模并非充分条件。
支撑证据
And so I would I kind of think about it in these four there's probably more but at least these four walls that we have to scale and and get over and we really haven't yet.
长时程任务需要多尺度记忆
MAM 将机器人策略拆成高层策略与低层视觉动作策略,同时把记忆拆成两种尺度。短期记忆保留密集视觉帧,经带时间注意力的 ViT 编码后压缩到当前图像令牌,用于精细操控。长期记忆则以循环更新的文本…展开观点收起观点
MAM 将机器人策略拆成高层策略与低层视觉动作策略,同时把记忆拆成两种尺度。短期记忆保留密集视觉帧,经带时间注意力的 ViT 编码后压缩到当前图像令牌,用于精细操控。长期记忆则以循环更新的文本草稿记录数分钟内的任务进度,供高层策略决定下一步。该设计支持烤奶酪、清理窗户、卸载杂货和准备食材等需要计时、计数或阶段跟踪的任务。
为什么重要: 分层记忆避免把全部历史图像塞进统一上下文,在保持控制速度的同时延长任务跨度。
支撑证据
we're going to decompose the memory into two different types one that is going to be short context and it's going to be like some dense frames that are needed for like the actual dextrous manipulation... and then we're going to have a long context memory.