关键观点
ERA的核心抽象是“可评分任务”
ERA并不要求每个科学领域采用同一种模型,而是尝试把不同问题映射为可计算的评分函数。用户先用自然语言描述问题,辅助代理帮助形成带评分函数的Python笔记本。系统随后围绕该评分反复修改代码、执…展开观点收起观点
ERA并不要求每个科学领域采用同一种模型,而是尝试把不同问题映射为可计算的评分函数。用户先用自然语言描述问题,辅助代理帮助形成带评分函数的Python笔记本。系统随后围绕该评分反复修改代码、执行实验并保留更有潜力的候选方案。机器学习只是这种抽象的一个子集,数学推导、模拟和工程设计也可能被纳入。
为什么重要: 这种抽象把通用语言模型与不同领域的科学目标连接起来,但评分函数是否真实代表研究目标,决定了整个搜索是否有意义。
支撑证据
we found that many different scientific problems can be mapped into something we call scorable tasks.
搜索不是贪心优化,而是兼顾探索与利用
ERA维护由大量候选笔记本组成的树状池,每次选择部分候选进行变异和测试。它使用上置信界估计候选经过修改后的乐观结果,因此不总是选择当前分数最高的方案。系统还可以重组不同候选中的想法。默认并行扩…展开观点收起观点
ERA维护由大量候选笔记本组成的树状池,每次选择部分候选进行变异和测试。它使用上置信界估计候选经过修改后的乐观结果,因此不总是选择当前分数最高的方案。系统还可以重组不同候选中的想法。默认并行扩展约十个叶节点,以平衡计算并行度与批次之间的经验共享。
为什么重要: 这使系统有机会跳出局部最优,但并行度过高会减少跨尝试学习,并迅速消耗计算预算。
支撑证据
it doesn't always pick the best performing notebook. It tries to predict like what's the current performance plus two sigma