关键观点
优化目标从请求延迟转向任务延迟
聊天的基本单位是一次请求，而智能体的基本单位是由多次模型调用和工具调用构成的任务。单次调用很快，并不保证整个任务快速完成，因为工具等待、上下文增长、并行子任务和调度决策都会影响总耗时。演讲因此…展开观点收起观点
聊天的基本单位是一次请求，而智能体的基本单位是由多次模型调用和工具调用构成的任务。单次调用很快，并不保证整个任务快速完成，因为工具等待、上下文增长、并行子任务和调度决策都会影响总耗时。演讲因此将端到端任务完成时间设为推理云的首要指标。这是其全部架构设计的核心前提。
为什么重要: 生产级智能体的基础设施选型和性能评测，不应只看首字延迟或单次吞吐量，还应测量完整任务的耗时、成功率和成本。
支撑证据
The user cares about when the whole task is completed. That means we have to optimize for tasks, not just individual requests.
智能体工作负载具有循环、增长和并行特征
典型智能体会执行“规划—行动—观察”的循环，并把工具结果追加到上下文中。模型推理与非模型工具执行交替发生，因此相邻模型调用之间天然存在间隔。智能体还可能创建并行子智能体，使调用数量和执行路径随…展开观点收起观点
典型智能体会执行“规划—行动—观察”的循环，并把工具结果追加到上下文中。模型推理与非模型工具执行交替发生，因此相邻模型调用之间天然存在间隔。智能体还可能创建并行子智能体，使调用数量和执行路径随输入动态变化。传统以固定请求率为基础的容量规划因而难以准确描述此类负载。
为什么重要: 调度器需要理解任务生命周期和调用之间的关系，否则只能局部优化单次请求，无法控制整体延迟。
支撑证据
First, it plans, which usually means an LLM call. Then, it acts maybe by calling a tool. Then it observes the result and adds the that back into the context and it repeats this until the task is done.