Inside the Race to Measure Frontier Intelligence

关键观点

1. 01独立评测是高价值模型市场的信任基础模型实验室可以用内部评测推动研发，但由开发者自行报告能力，会产生可信度和可比性问题。第三方机构通过封闭题集、统一方法和跨模型测试，为采购者提供更可靠的信号。其作用类似评级或审计，但必须适应人工智能能力快速变化的特征。独立评测不仅服务实验室证明进步，也帮助企业判断采用哪种模型才能获得更高回报。

   模型实验室可以用内部评测推动研发，但由开发者自行报告能力，会产生可信度和可比性问题。第三方机构通过封闭题集、统一方法和跨模型测试，为采购者提供更可靠的信号。其作用类似评级或审计，但必须适应人工智能能力快速变化的特征。独立评测不仅服务实验室证明进步，也帮助企业判断采用哪种模型才能获得更高回报。

   为什么重要: 缺少独立证据时，数十亿美元的模型投资与企业采购都可能建立在可被优化或包装的公开分数上。

   支撑证据

   لابد من وجود شركة خارجية متخصصة فقط في بناء تقييمات ومعايير عالية الجودة لتتمكن من تمييز ما هو ممكن تحقيقه بهذه النماذج.

2. 02公开基准可能高估模型的真实能力Llama 4 被作为公开成绩与私有评测信号不一致的案例。受访者称，该模型在主要公开基准上表现突出，却在他们的封闭基准中表现较弱。公开题目和评分规则容易被训练过程吸收，也更容易成为针对性优化目标。因此，公开排行榜不能单独承担模型能力认证的职责。