关键观点
旧上限约为200至300条指令
讲者首先复现IFScale原始实验,以确认所谓“200条指令上限”并非传闻。该基准要求模型在商业报告中包含一组指定词汇,并以成功出现的比例衡量指令遵循准确率。复现实验与原论文结果处于噪声范围内…展开观点收起观点
讲者首先复现IFScale原始实验,以确认所谓“200条指令上限”并非传闻。该基准要求模型在商业报告中包含一组指定词汇,并以成功出现的比例衡量指令遵循准确率。复现实验与原论文结果处于噪声范围内:规则数达到约500条时,模型会漏掉30%至50%。因此,一年前的前沿模型确实会在约200至300条规则后开始明显退化。
为什么重要: 旧模型时代的短提示词、技能分片和多代理设计具有现实依据,但这些设计前提需要随模型能力更新。
支撑证据
our curves matched the results in the original paper within the noise boundary. So the finding was real. uh a year ago somewhere around 200 to 300 rules frontier models started falling apart.
指令容量在一年内提升近10倍
新一代模型在原基准500条规则的上限内全部取得100%准确率,迫使讲者把测试扩展到1000、2000、5000乃至10000个词。新模型的性能拐点普遍大幅右移,典型边界接近2000条,最佳模型…展开观点收起观点
新一代模型在原基准500条规则的上限内全部取得100%准确率,迫使讲者把测试扩展到1000、2000、5000乃至10000个词。新模型的性能拐点普遍大幅右移,典型边界接近2000条,最佳模型可到约5000条后才迅速下降。该结果表明,同时跟踪大量离散约束的能力发生了数量级变化。
为什么重要: 包含完整品牌规范、法律声明和格式规则的长技能文件,已从明显不可行变为技术上可行。
支撑证据
So in about 12 months frontier models got close to 10 times better at following instructions simultaneously.