From VLM/VLA's to Embodied Agents - Armen Aghajanyan, Perceptron AI

关键观点

1. 01

   以具身基础模型统一感知、推理与行动

   演讲的核心不是再提出一种独立的VLM、VLA或世界模型，而是建立覆盖输入感知、具身推理和控制输出的统一框架。该模型需要跨文本、图像、视频、动作等不同模态进行推理，并能够产生文本、空间线索、动作或控制令牌。其产品愿景是为机器人、摄像头、传感器和其他物理设备提供实时智能，从而连接数字世界与物理世界。

   为什么重要: 统一建模有望减少感知模型、规划器和控制策略之间的割裂，但也把训练目标、数据配比和上下文管理集中成更困难的系统问题。

   支撑证据

   نحن ننظر إلى نموذج الأساس المجسد على أنه إطار يسمح لك بإجراء كل من الإدراك القياسي، والاستدلال المجسد، ثم هدف التحكم الرئيسي، كل ذلك ضمن نموذج واحد.

   演讲的核心不是再提出一种独立的VLM、VLA或世界模型，而是建立覆盖输入感知、具身推理和控制输出的统一框架。该模型需要跨文本、图像、视频、动作等不同模态进行推理，并能够产生文本、空间线索、动作…展开观点

   演讲的核心不是再提出一种独立的VLM、VLA或世界模型，而是建立覆盖输入感知、具身推理和控制输出的统一框架。该模型需要跨文本、图像、视频、动作等不同模态进行推理，并能够产生文本、空间线索、动作…展开观点收起观点

   演讲的核心不是再提出一种独立的VLM、VLA或世界模型，而是建立覆盖输入感知、具身推理和控制输出的统一框架。该模型需要跨文本、图像、视频、动作等不同模态进行推理，并能够产生文本、空间线索、动作或控制令牌。其产品愿景是为机器人、摄像头、传感器和其他物理设备提供实时智能，从而连接数字世界与物理世界。

   为什么重要: 统一建模有望减少感知模型、规划器和控制策略之间的割裂，但也把训练目标、数据配比和上下文管理集中成更困难的系统问题。

   支撑证据

   نحن ننظر إلى نموذج الأساس المجسد على أنه إطار يسمح لك بإجراء كل من الإدراك القياسي، والاستدلال المجسد، ثم هدف التحكم الرئيسي، كل ذلك ضمن نموذج واحد.

2. 02

   长视频监督信号过于稀疏

   一小时视频可能被表示为约一百万个视觉令牌，但字幕、问答或人工标注只覆盖其中极小的一部分。演讲者估计，实际计算损失的内容可能仅相当于全部令牌的0.2%。合成标注虽然能扩大监督范围，却可能过于稀疏、失真或不精确，因此无法从根本上解决训练信号与输入规模不匹配的问题。

   为什么重要: 如果绝大多数计算没有获得有效学习信号，单纯扩大视频数据和模型规模可能带来很低的边际收益。

   支撑证据

   ستجد مليون رمز، وأنت في الأساس تحسب الخسارة على ما يعادل 0.2%فقط من إجمالي الرموز.

   一小时视频可能被表示为约一百万个视觉令牌，但字幕、问答或人工标注只覆盖其中极小的一部分。演讲者估计，实际计算损失的内容可能仅相当于全部令牌的0.2%。合成标注虽然能扩大监督范围，却可能过于稀疏…展开观点

   一小时视频可能被表示为约一百万个视觉令牌，但字幕、问答或人工标注只覆盖其中极小的一部分。演讲者估计，实际计算损失的内容可能仅相当于全部令牌的0.2%。合成标注虽然能扩大监督范围，却可能过于稀疏…展开观点收起观点

   一小时视频可能被表示为约一百万个视觉令牌，但字幕、问答或人工标注只覆盖其中极小的一部分。演讲者估计，实际计算损失的内容可能仅相当于全部令牌的0.2%。合成标注虽然能扩大监督范围，却可能过于稀疏、失真或不精确，因此无法从根本上解决训练信号与输入规模不匹配的问题。

   为什么重要: 如果绝大多数计算没有获得有效学习信号，单纯扩大视频数据和模型规模可能带来很低的边际收益。

   支撑证据

   ستجد مليون رمز، وأنت في الأساس تحسب الخسارة على ما يعادل 0.2%فقط من إجمالي الرموز.