How GPT, Claude, and Gemini are actually trained and served – Reiner Pope

关键观点

1. 01

   批大小是快速模式价格差异的核心杠杆

   推理服务并非逐个用户运行，而是把许多序列组成一个批次，共同执行一次前向传播。批量较小时，读取整套模型权重的固定成本只能由少数 token 承担，因此单位成本极高；批量增大后，这部分成本被摊薄。快速模式可以通过采用较小批量、更少等待来降低延迟，但代价是更差的硬件利用率。访谈指出，不做批处理时的经济性甚至可能比充分批处理差三个数量级。

   为什么重要: 这解释了为何低延迟服务需要溢价，也说明模型 API 的价格差异未必来自模型能力本身，而可能来自调度策略。

   支撑证据

   if you do not batch together many users, the cost and the economics you get can be a thousand times worse than if you do batch many users together.

   推理服务并非逐个用户运行，而是把许多序列组成一个批次，共同执行一次前向传播。批量较小时，读取整套模型权重的固定成本只能由少数 token 承担，因此单位成本极高；批量增大后，这部分成本被摊薄。…展开观点

   推理服务并非逐个用户运行，而是把许多序列组成一个批次，共同执行一次前向传播。批量较小时，读取整套模型权重的固定成本只能由少数 token 承担，因此单位成本极高；批量增大后，这部分成本被摊薄。…展开观点收起观点

   推理服务并非逐个用户运行，而是把许多序列组成一个批次，共同执行一次前向传播。批量较小时，读取整套模型权重的固定成本只能由少数 token 承担，因此单位成本极高；批量增大后，这部分成本被摊薄。快速模式可以通过采用较小批量、更少等待来降低延迟，但代价是更差的硬件利用率。访谈指出，不做批处理时的经济性甚至可能比充分批处理差三个数量级。

   为什么重要: 这解释了为何低延迟服务需要溢价，也说明模型 API 的价格差异未必来自模型能力本身，而可能来自调度策略。

   支撑证据

   if you do not batch together many users, the cost and the economics you get can be a thousand times worse than if you do batch many users together.

2. 02

   推理时间可由计算与内存两条屋顶线近似

   简化模型把计算时间近似为批大小乘以活跃参数量，再除以芯片计算吞吐；内存时间则包括读取全部参数和读取每条序列的 KV 缓存。实际延迟至少受两者中较慢的一方约束。虽然模型忽略了部分注意力计算和真实系统效率，但仍能较强地预测成本、批量和上下文长度之间的关系。它的价值不在精确预测毫秒数，而在识别主导瓶颈及其变化方向。

   为什么重要: 用少量硬件与模型参数，就能判断系统是计算受限还是带宽受限，并解释许多架构和定价选择。

   支撑证据

   The roofline analysis means we look at memory bandwidth and compute performance.

   简化模型把计算时间近似为批大小乘以活跃参数量，再除以芯片计算吞吐；内存时间则包括读取全部参数和读取每条序列的 KV 缓存。实际延迟至少受两者中较慢的一方约束。虽然模型忽略了部分注意力计算和真实…展开观点

   简化模型把计算时间近似为批大小乘以活跃参数量，再除以芯片计算吞吐；内存时间则包括读取全部参数和读取每条序列的 KV 缓存。实际延迟至少受两者中较慢的一方约束。虽然模型忽略了部分注意力计算和真实…展开观点收起观点

   简化模型把计算时间近似为批大小乘以活跃参数量，再除以芯片计算吞吐；内存时间则包括读取全部参数和读取每条序列的 KV 缓存。实际延迟至少受两者中较慢的一方约束。虽然模型忽略了部分注意力计算和真实系统效率，但仍能较强地预测成本、批量和上下文长度之间的关系。它的价值不在精确预测毫秒数，而在识别主导瓶颈及其变化方向。

   为什么重要: 用少量硬件与模型参数，就能判断系统是计算受限还是带宽受限，并解释许多架构和定价选择。

   支撑证据

   The roofline analysis means we look at memory bandwidth and compute performance.