Context engineering with Dex Horthy

关键观点

1. 01

   上下文工程是对 AI 抽象层的还原

   RAG、记忆、代理历史和结构化输出看似是不同能力，本质上都是把令牌放入模型，再要求模型产生输出。现成框架可以快速做到约八成效果，但要继续提高可靠性，就必须检查具体输入了什么、以何种顺序输入，以及不同模型如何响应。上下文工程因此不是单纯优化提示词，而是控制模型每一步所接收的信息和指令。

   为什么重要: 这种视角让工程师能够直接操作影响质量的底层变量，而不是被框架术语限制。

   支撑证据

   At the end of the day, they're all like different ways to pass tokens into a model and ask it to produce usually some structured output.

   RAG、记忆、代理历史和结构化输出看似是不同能力，本质上都是把令牌放入模型，再要求模型产生输出。现成框架可以快速做到约八成效果，但要继续提高可靠性，就必须检查具体输入了什么、以何种顺序输入，以…展开观点

   RAG、记忆、代理历史和结构化输出看似是不同能力，本质上都是把令牌放入模型，再要求模型产生输出。现成框架可以快速做到约八成效果，但要继续提高可靠性，就必须检查具体输入了什么、以何种顺序输入，以…展开观点收起观点

   RAG、记忆、代理历史和结构化输出看似是不同能力，本质上都是把令牌放入模型，再要求模型产生输出。现成框架可以快速做到约八成效果，但要继续提高可靠性，就必须检查具体输入了什么、以何种顺序输入，以及不同模型如何响应。上下文工程因此不是单纯优化提示词，而是控制模型每一步所接收的信息和指令。

   为什么重要: 这种视角让工程师能够直接操作影响质量的底层变量，而不是被框架术语限制。

   支撑证据

   At the end of the day, they're all like different ways to pass tokens into a model and ask it to produce usually some structured output.

2. 02

   更长的窗口不等于更聪明的模型

   模型的上下文容量增加，只代表它能容纳更多内容，并不保证能同等准确地关注每个令牌。信息过多、指令冲突或关键要求距离当前输出太远，都会降低遵循能力。访谈把上下文约束分为信息预算和指令预算：前者决定放入哪些资料，后者决定模型需要同时服从多少要求。

   为什么重要: 盲目塞入全部资料可能同时增加成本、延迟和错误率；检索、筛选与压缩通常比堆积更有效。

   支撑证据

   You're not actually getting a like smarter model.

   模型的上下文容量增加，只代表它能容纳更多内容，并不保证能同等准确地关注每个令牌。信息过多、指令冲突或关键要求距离当前输出太远，都会降低遵循能力。访谈把上下文约束分为信息预算和指令预算：前者决定…展开观点

   模型的上下文容量增加，只代表它能容纳更多内容，并不保证能同等准确地关注每个令牌。信息过多、指令冲突或关键要求距离当前输出太远，都会降低遵循能力。访谈把上下文约束分为信息预算和指令预算：前者决定…展开观点收起观点

   模型的上下文容量增加，只代表它能容纳更多内容，并不保证能同等准确地关注每个令牌。信息过多、指令冲突或关键要求距离当前输出太远，都会降低遵循能力。访谈把上下文约束分为信息预算和指令预算：前者决定放入哪些资料，后者决定模型需要同时服从多少要求。

   为什么重要: 盲目塞入全部资料可能同时增加成本、延迟和错误率；检索、筛选与压缩通常比堆积更有效。

   支撑证据

   You're not actually getting a like smarter model.