The data black hole at the center of AI

关键观点

1. 01样本效率是更严格的智能尺度作者把智能定义为在特定领域达到流畅、胜任水平所需的数据量。按这一尺度，近年AI未必取得了与能力展示同等幅度的根本进步。模型看似掌握越来越多技能，更可能是因为训练数据覆盖面和质量大幅提升，而不是学习机制明显更高效。

   作者把智能定义为在特定领域达到流畅、胜任水平所需的数据量。按这一尺度，近年AI未必取得了与能力展示同等幅度的根本进步。模型看似掌握越来越多技能，更可能是因为训练数据覆盖面和质量大幅提升，而不是学习机制明显更高效。

   为什么重要: 这一视角把“模型会什么”与“模型如何学会”区分开，避免仅凭基准成绩高估通用学习能力。

   支撑证据

   So one definition of intelligence is sample efficiency. That is to say, how much data do you need in a given domain to operate fluently and competently?

2. 02强化学习本质上扩充了优质数据作者将强化学习描述为一种合成数据生成过程：模型针对验证器或LLM评审标准生成大量候选轨迹，再筛出正确轨迹用于训练。这与互联网文本上的下一词预测在结构上相似，区别在于目标数据由计算搜索和评价机制产生。强化学习因而并未消除数据依赖，而是把更多算力投入到发现高质量数据。