关键观点
“记忆卡带”把上下文转化为参数状态Engram设想让模型提前研读大型语料，自主提问、测验和解题，再通过梯度下降形成紧凑的参数表示。这些表示被称为“cartridges”，可按语料、任务或技能加载与卸载。Dan称其压缩程度可能达到约千倍，使模型减少重复阅读，并降低混乱与推理成本。它追求的不是替代原始资料，而是在资料之上形成可复用的内部状态。
Engram设想让模型提前研读大型语料，自主提问、测验和解题，再通过梯度下降形成紧凑的参数表示。这些表示被称为“cartridges”，可按语料、任务或技能加载与卸载。Dan称其压缩程度可能达到约千倍，使模型减少重复阅读，并降低混乱与推理成本。它追求的不是替代原始资料，而是在资料之上形成可复用的内部状态。
为什么重要: 如果方法成立，企业无需在每次查询时把庞大知识库重新塞入上下文，长期代理也可能获得更稳定的工作记忆。
支撑证据
We call those cartridges. These are like capsules of knowledge you can load in and out of the model that are like a brain state that describes the model's world and the corpus in a way that's maybe a thousandx more compressed.
理想系统需要“食谱”与“厨师直觉”并存