Trillion Token Context. No, Really - Anima Anandkumar & Benedikt Jenik, Accelerated Understanding

关键观点

1. 01

   从专用模拟器迈向通用物理模型

   公司的出发点是语言模型的发展路径：拼写检查、翻译和自动补全曾由不同模型完成，后来被统一模型取代。团队希望在物理模拟与物理理解中实现类似整合，让同一个模型覆盖流体、能源、半导体和航空航天等领域。其依据不是这些应用表面相似，而是它们共享守恒、因果、时间变化和物体持续性等底层结构。

   为什么重要: 如果跨域迁移成立，新物理任务就不必每次从零训练专用替代模型，模型能力和数据价值都可复用。

   支撑证据

   And so now we were asking ourselves, can we do the same thing for physical simulation and for physical understanding?

   公司的出发点是语言模型的发展路径：拼写检查、翻译和自动补全曾由不同模型完成，后来被统一模型取代。团队希望在物理模拟与物理理解中实现类似整合，让同一个模型覆盖流体、能源、半导体和航空航天等领域。…展开观点

   公司的出发点是语言模型的发展路径：拼写检查、翻译和自动补全曾由不同模型完成，后来被统一模型取代。团队希望在物理模拟与物理理解中实现类似整合，让同一个模型覆盖流体、能源、半导体和航空航天等领域。…展开观点收起观点

   公司的出发点是语言模型的发展路径：拼写检查、翻译和自动补全曾由不同模型完成，后来被统一模型取代。团队希望在物理模拟与物理理解中实现类似整合，让同一个模型覆盖流体、能源、半导体和航空航天等领域。其依据不是这些应用表面相似，而是它们共享守恒、因果、时间变化和物体持续性等底层结构。

   为什么重要: 如果跨域迁移成立，新物理任务就不必每次从零训练专用替代模型，模型能力和数据价值都可复用。

   支撑证据

   And so now we were asking ourselves, can we do the same thing for physical simulation and for physical understanding?

2. 02

   物理定律弥补纯数据训练的根本缺口

   物理领域没有可直接下载的“物理互联网”，真实数据远少于语言数据。科学发现还要求产生训练集中不存在的新结果，因此仅靠经验数据难以外推。团队先用现有模拟器生成训练数据，再把物理定律本身作为自我改进信号，以约束并提升模型。

   为什么重要: 这让模型有机会超越训练数据的平均质量，并在训练分布之外保持更强的可信度。

   支撑证据

   And so, this reliance on just purely datadriven AI is not going to be enough. And that's where you know adding the laws of physics is really critical.

   物理领域没有可直接下载的“物理互联网”，真实数据远少于语言数据。科学发现还要求产生训练集中不存在的新结果，因此仅靠经验数据难以外推。团队先用现有模拟器生成训练数据，再把物理定律本身作为自我改进…展开观点

   物理领域没有可直接下载的“物理互联网”，真实数据远少于语言数据。科学发现还要求产生训练集中不存在的新结果，因此仅靠经验数据难以外推。团队先用现有模拟器生成训练数据，再把物理定律本身作为自我改进…展开观点收起观点

   物理领域没有可直接下载的“物理互联网”，真实数据远少于语言数据。科学发现还要求产生训练集中不存在的新结果，因此仅靠经验数据难以外推。团队先用现有模拟器生成训练数据，再把物理定律本身作为自我改进信号，以约束并提升模型。

   为什么重要: 这让模型有机会超越训练数据的平均质量，并在训练分布之外保持更强的可信度。

   支撑证据

   And so, this reliance on just purely datadriven AI is not going to be enough. And that's where you know adding the laws of physics is really critical.