关键观点
每秒数百token正在失去“实时”含义受访者认为，过去被视为高速的每秒约100至200个token，正在迅速变成新的批处理档位。这类性能仍适合提示词预处理、高并行任务和耗时评测加速，但无法覆盖所有低延迟交互需求。市场评价标准因而会从“是否比GPU快”转向“是否足以创造新的实时工作流”。
受访者认为，过去被视为高速的每秒约100至200个token，正在迅速变成新的批处理档位。这类性能仍适合提示词预处理、高并行任务和耗时评测加速，但无法覆盖所有低延迟交互需求。市场评价标准因而会从“是否比GPU快”转向“是否足以创造新的实时工作流”。
为什么重要: 硬件价值不再只体现为降低同一任务的耗时，而是能否解锁原本不可用的产品形态。
支撑证据
what used to be considered fast at like 1,00 or or 200 tokens per second is quickly becoming the new batch mode
CS4依靠系统级改造实现两倍性能提升CS4并非只更换计算芯片，而是建立在新的模块化Nexus平台上。该平台向晶圆提供两倍功率、两倍互连带宽，并把延迟降至一半，同时提升机架密度。受访者称，Hot Chips演示中的GPT-OSS运行速度超过每秒4400个token。