The AI Memory Problem: Why Long Context Isn’t Enough - Dan Biderman, Engram Co-founder & CEO

关键观点

1. 01

   “记忆卡带”把上下文转化为参数状态

   Engram设想让模型提前研读大型语料，自主提问、测验和解题，再通过梯度下降形成紧凑的参数表示。这些表示被称为“cartridges”，可按语料、任务或技能加载与卸载。Dan称其压缩程度可能达到约千倍，使模型减少重复阅读，并降低混乱与推理成本。它追求的不是替代原始资料，而是在资料之上形成可复用的内部状态。

   为什么重要: 如果方法成立，企业无需在每次查询时把庞大知识库重新塞入上下文，长期代理也可能获得更稳定的工作记忆。

   支撑证据

   We call those cartridges. These are like capsules of knowledge you can load in and out of the model that are like a brain state that describes the model's world and the corpus in a way that's maybe a thousandx more compressed.

   Engram设想让模型提前研读大型语料，自主提问、测验和解题，再通过梯度下降形成紧凑的参数表示。这些表示被称为“cartridges”，可按语料、任务或技能加载与卸载。Dan称其压缩程度可能达…展开观点

   Engram设想让模型提前研读大型语料，自主提问、测验和解题，再通过梯度下降形成紧凑的参数表示。这些表示被称为“cartridges”，可按语料、任务或技能加载与卸载。Dan称其压缩程度可能达…展开观点收起观点

   Engram设想让模型提前研读大型语料，自主提问、测验和解题，再通过梯度下降形成紧凑的参数表示。这些表示被称为“cartridges”，可按语料、任务或技能加载与卸载。Dan称其压缩程度可能达到约千倍，使模型减少重复阅读，并降低混乱与推理成本。它追求的不是替代原始资料，而是在资料之上形成可复用的内部状态。

   为什么重要: 如果方法成立，企业无需在每次查询时把庞大知识库重新塞入上下文，长期代理也可能获得更稳定的工作记忆。

   支撑证据

   We call those cartridges. These are like capsules of knowledge you can load in and out of the model that are like a brain state that describes the model's world and the corpus in a way that's maybe a thousandx more compressed.

2. 02

   理想系统需要“食谱”与“厨师直觉”并存

   Dan用烹饪区分外部文本与内部能力：食谱、实验记录和知识库便于查证，但仅能照步骤执行并不等于真正掌握技能。参数中的学习状态更像厨师的神经系统，能够记住味道、失败经验和操作手感，并据此创新。Engram并未否定RAG，而是主张让文本记忆与神经记忆互补。其目标是避免模型每次都从零开始阅读和推理。

   为什么重要: 这一框架将模型记忆问题从“存储更多文本”转化为“如何把经验内化，同时保留可追溯资料”。

   支撑证据

   Every knowledge worker if they can't write notes and they can not document the events of the day they would be in a disadvantage. But if you wipe their brain every evening, they would also be at a severe disadvantage.

   Dan用烹饪区分外部文本与内部能力：食谱、实验记录和知识库便于查证，但仅能照步骤执行并不等于真正掌握技能。参数中的学习状态更像厨师的神经系统，能够记住味道、失败经验和操作手感，并据此创新。En…展开观点

   Dan用烹饪区分外部文本与内部能力：食谱、实验记录和知识库便于查证，但仅能照步骤执行并不等于真正掌握技能。参数中的学习状态更像厨师的神经系统，能够记住味道、失败经验和操作手感，并据此创新。En…展开观点收起观点

   Dan用烹饪区分外部文本与内部能力：食谱、实验记录和知识库便于查证，但仅能照步骤执行并不等于真正掌握技能。参数中的学习状态更像厨师的神经系统，能够记住味道、失败经验和操作手感，并据此创新。Engram并未否定RAG，而是主张让文本记忆与神经记忆互补。其目标是避免模型每次都从零开始阅读和推理。

   为什么重要: 这一框架将模型记忆问题从“存储更多文本”转化为“如何把经验内化，同时保留可追溯资料”。

   支撑证据

   Every knowledge worker if they can't write notes and they can not document the events of the day they would be in a disadvantage. But if you wipe their brain every evening, they would also be at a severe disadvantage.