The Best Models Still Reason Like Toddlers - Andrew Dai, Elorian

关键观点

1. 01

   视觉识别不等于视觉推理

   演讲者把快速识别类别、物体或少量元素称为视觉理解，把需要仔细观察、拆解和核对多个视觉关系的任务称为视觉推理。前者主要依靠模式匹配，后者更接近卡尼曼所说的“系统二”思考。当前领先模型在前者上表现良好，但在计数、空间关系和事件追踪等细节任务上明显薄弱。

   为什么重要: 产品设计不能因为模型能认出场景，就假定它能可靠回答关于该场景的复杂问题。任务复杂度一旦超过快速识别，就需要额外验证和约束。

   支撑证据

   هذا هو الفرق الذي نُجريه بين الفهم، أي التعرف على الأنماط، وبين الاستدلال، حيث يتعين عليك النظر بتفصيل إلى الصورة وملاحظة عناصر مختلفة.

   演讲者把快速识别类别、物体或少量元素称为视觉理解，把需要仔细观察、拆解和核对多个视觉关系的任务称为视觉推理。前者主要依靠模式匹配，后者更接近卡尼曼所说的“系统二”思考。当前领先模型在前者上表现…展开观点

   演讲者把快速识别类别、物体或少量元素称为视觉理解，把需要仔细观察、拆解和核对多个视觉关系的任务称为视觉推理。前者主要依靠模式匹配，后者更接近卡尼曼所说的“系统二”思考。当前领先模型在前者上表现…展开观点收起观点

   演讲者把快速识别类别、物体或少量元素称为视觉理解，把需要仔细观察、拆解和核对多个视觉关系的任务称为视觉推理。前者主要依靠模式匹配，后者更接近卡尼曼所说的“系统二”思考。当前领先模型在前者上表现良好，但在计数、空间关系和事件追踪等细节任务上明显薄弱。

   为什么重要: 产品设计不能因为模型能认出场景，就假定它能可靠回答关于该场景的复杂问题。任务复杂度一旦超过快速识别，就需要额外验证和约束。

   支撑证据

   هذا هو الفرق الذي نُجريه بين الفهم، أي التعرف على الأنماط، وبين الاستدلال، حيث يتعين عليك النظر بتفصيل إلى الصورة وملاحظة عناصر مختلفة.

2. 02

   模式先验会覆盖实际视觉证据

   在不完整棋盘示例中，模型看到棋盘特征后，似乎套用了完整棋盘的知识，而没有只统计图中真实可见的白格。演讲者将这种错误归因于过度依赖模式匹配：模型知道典型棋盘是什么，却没有忠实处理当前这个非典型实例。类似机制也会让模型在熟悉场景中给出听起来合理、实际上未经视觉核验的答案。

   为什么重要: 这类错误具有迷惑性，因为回答可能符合常识模板，却不符合输入本身。高风险系统必须优先核验实例级证据，而不是接受类别级推断。

   支撑证据

   فالنماذج الحالية تعتمد بشكل كبير على مطابقة الأنماط.

   在不完整棋盘示例中，模型看到棋盘特征后，似乎套用了完整棋盘的知识，而没有只统计图中真实可见的白格。演讲者将这种错误归因于过度依赖模式匹配：模型知道典型棋盘是什么，却没有忠实处理当前这个非典型实…展开观点

   在不完整棋盘示例中，模型看到棋盘特征后，似乎套用了完整棋盘的知识，而没有只统计图中真实可见的白格。演讲者将这种错误归因于过度依赖模式匹配：模型知道典型棋盘是什么，却没有忠实处理当前这个非典型实…展开观点收起观点

   在不完整棋盘示例中，模型看到棋盘特征后，似乎套用了完整棋盘的知识，而没有只统计图中真实可见的白格。演讲者将这种错误归因于过度依赖模式匹配：模型知道典型棋盘是什么，却没有忠实处理当前这个非典型实例。类似机制也会让模型在熟悉场景中给出听起来合理、实际上未经视觉核验的答案。

   为什么重要: 这类错误具有迷惑性，因为回答可能符合常识模板，却不符合输入本身。高风险系统必须优先核验实例级证据，而不是接受类别级推断。

   支撑证据

   فالنماذج الحالية تعتمد بشكل كبير على مطابقة الأنماط.