关键观点
推理并行化是扩散语言模型的核心赌注
自回归模型在训练阶段可以借助Transformer并行处理词元，但生成阶段仍必须从左到右逐词执行。Ermon认为，这种负载受内存带宽限制，无法充分利用GPU的并行计算能力。扩散模型能够在每轮推…展开观点收起观点
自回归模型在训练阶段可以借助Transformer并行处理词元，但生成阶段仍必须从左到右逐词执行。Ermon认为，这种负载受内存带宽限制，无法充分利用GPU的并行计算能力。扩散模型能够在每轮推理中同时处理多个词元，使生成负载更接近GPU擅长的训练负载。Inception因此把推理效率视为架构选择的首要依据。
为什么重要: 随着测试时计算和强化学习生成量持续增加，推理吞吐量会同时影响产品延迟、训练速度与单位经济性。
支撑证据
You cannot generate the 10th token until you've generated everything that comes before it.
2024年的质量平价结果推动了公司成立
Ermon团队在GPT-2量级上，将Transformer作为扩散模型训练，并与同参数量、同数据条件下的自回归模型比较。团队称两者达到相同困惑度，说明模型对数据结构的拟合程度相当。扩散模型同时…展开观点收起观点
Ermon团队在GPT-2量级上，将Transformer作为扩散模型训练，并与同参数量、同数据条件下的自回归模型比较。团队称两者达到相同困惑度，说明模型对数据结构的拟合程度相当。扩散模型同时实现约10倍的文本生成速度。这个学术规模的结果成为继续扩大模型规模并创办Inception的关键依据。
为什么重要: 该结果把扩散文本生成从概念验证推进到具有商业探索价值的候选架构，但尚不能单独证明前沿规模上的能力平价。
支撑证据
We were able to generate text like 10x faster compared to the autogressive model.