AI researchers debate how close we are to recursive self-improvement

关键观点

1. 01

   超级智能可能卡在泛化而非基准能力

   模型可能继续在数学、代码和精心构造的环境中取得高分，却无法把能力稳定迁移到现实任务。真正的限制可能表现为持续存在的模拟到现实鸿沟、较差的判断力，以及无法充分检查自己的工作。这样一来，每一代模型都会短暂制造“AGI 已至”的印象，但实际使用一段时间后，弱点重新成为整体生产率的瓶颈。受访者认为这种情形并非最可能，却是2036年世界仍大致正常时最可信的技术解释之一。

   为什么重要: 评估模型不能只看峰值能力或基准分数，还要看它在开放环境中的可靠性、迁移能力和最弱环节。

   支撑证据

   There’s this cycle that keeps repeating where a new model comes out and people are blown away and they’re like, "This is it. This is AGI." But then they use it a bit, and it starts to feel dumb after a month or so.

   模型可能继续在数学、代码和精心构造的环境中取得高分，却无法把能力稳定迁移到现实任务。真正的限制可能表现为持续存在的模拟到现实鸿沟、较差的判断力，以及无法充分检查自己的工作。这样一来，每一代模型…展开观点

   模型可能继续在数学、代码和精心构造的环境中取得高分，却无法把能力稳定迁移到现实任务。真正的限制可能表现为持续存在的模拟到现实鸿沟、较差的判断力，以及无法充分检查自己的工作。这样一来，每一代模型…展开观点收起观点

   模型可能继续在数学、代码和精心构造的环境中取得高分，却无法把能力稳定迁移到现实任务。真正的限制可能表现为持续存在的模拟到现实鸿沟、较差的判断力，以及无法充分检查自己的工作。这样一来，每一代模型都会短暂制造“AGI 已至”的印象，但实际使用一段时间后，弱点重新成为整体生产率的瓶颈。受访者认为这种情形并非最可能，却是2036年世界仍大致正常时最可信的技术解释之一。

   为什么重要: 评估模型不能只看峰值能力或基准分数，还要看它在开放环境中的可靠性、迁移能力和最弱环节。

   支撑证据

   There’s this cycle that keeps repeating where a new model comes out and people are blown away and they’re like, "This is it. This is AGI." But then they use it a bit, and it starts to feel dumb after a month or so.

2. 02

   决定起飞速度的是能否自主提出正确目标

   在目标已经明确时，AI 可以筛选实验、分析结果并优化现有指标，显著提高研究速度。困难在于范式突破往往没有现成奖励函数，模型必须先判断什么问题值得解决、什么代理指标真正对应最终价值。递归自我改进要求它连续完成提出目标、优化目标、评估结果和提出下一目标，而且长期不能偏离方向。对谈因此把目标设定视为自动化研究中最晚被替代的能力。

   为什么重要: 如果目标发现无法自动化，再强的执行能力也只能加速既有路线，不能保证形成自我维持的智能爆炸。

   支撑证据

   在目标已经明确时，AI 可以筛选实验、分析结果并优化现有指标，显著提高研究速度。困难在于范式突破往往没有现成奖励函数，模型必须先判断什么问题值得解决、什么代理指标真正对应最终价值。递归自我改进…展开观点

   在目标已经明确时，AI 可以筛选实验、分析结果并优化现有指标，显著提高研究速度。困难在于范式突破往往没有现成奖励函数，模型必须先判断什么问题值得解决、什么代理指标真正对应最终价值。递归自我改进…展开观点收起观点

   在目标已经明确时，AI 可以筛选实验、分析结果并优化现有指标，显著提高研究速度。困难在于范式突破往往没有现成奖励函数，模型必须先判断什么问题值得解决、什么代理指标真正对应最终价值。递归自我改进要求它连续完成提出目标、优化目标、评估结果和提出下一目标，而且长期不能偏离方向。对谈因此把目标设定视为自动化研究中最晚被替代的能力。

   为什么重要: 如果目标发现无法自动化，再强的执行能力也只能加速既有路线，不能保证形成自我维持的智能爆炸。

   支撑证据