关键观点
Harness 是模型与现实世界之间的能力层
原始大模型本质上只处理可见上下文中的 token 输入和输出。Harness 在其外部加入持久状态、工具、计算环境、文件、记忆和其他智能体,使固定权重能够处理更广泛的问题。它不是装饰性包装,而…展开观点收起观点
原始大模型本质上只处理可见上下文中的 token 输入和输出。Harness 在其外部加入持久状态、工具、计算环境、文件、记忆和其他智能体,使固定权重能够处理更广泛的问题。它不是装饰性包装,而是决定模型能采取哪些行动、保留哪些经验以及能运行多久的执行系统。同一权重文件因 harness 不同而产生显著性能差异,说明评测模型时不能忽略执行层。
为什么重要: 模型采购、基准测试和智能体设计都应把模型与 harness 视为完整系统,而不是只比较模型名称或困惑度。
支撑证据
The harness itself is the layer between the LLM and the world that adds things like this persistent state tools and compute.
Harness 已从静态脚手架走向自我改进
早期 harness 主要固定系统提示词、工具列表、技能列表、轮数和调用预算,并把模型置于循环中。后续方法开始允许系统通过候选搜索优化提示词,甚至修改 harness 代码、智能体数量和上下文…展开观点收起观点
早期 harness 主要固定系统提示词、工具列表、技能列表、轮数和调用预算,并把模型置于循环中。后续方法开始允许系统通过候选搜索优化提示词,甚至修改 harness 代码、智能体数量和上下文编排方式。更进一步的 continual harness 还尝试利用在线经验更新模型权重。这形成了从静态执行、提示词优化、结构自修改到测试时训练的连续演进路径。
为什么重要: 未来的性能提升可能更多来自系统在运行中学习,而不只是等待更大的基础模型发布。
支撑证据
either we're learning the system prompt or we're learning the harness itself, which is very trippy.