Two Bugs That Hid in Plain Sight: A vLLM Debugging Detective Story - Asaf Gardin & Yuval Belfer

关键观点

1. 01

   高置信度错误首先是工程故障候选

   这类问题不会触发崩溃、警告或明显异常，因此常被误判为模型能力波动。演讲者强调，输出质量差并不必然意味着需要重新训练或优化模型。当相同权重和输入在不同执行路径上产生异常差异时，应优先检查推理引擎、调度、缓存和数值实现。静默错误的危险在于系统看起来完全健康，并可能给出高置信度结果。

   为什么重要: 如果把基础设施故障当成模型质量问题，团队会在错误层级投入研究资源，同时继续向用户交付不可信结果。

   支撑证据

   This is an engineering problem. This is an issue where that there is high confidence but the output is bad.

   这类问题不会触发崩溃、警告或明显异常，因此常被误判为模型能力波动。演讲者强调，输出质量差并不必然意味着需要重新训练或优化模型。当相同权重和输入在不同执行路径上产生异常差异时，应优先检查推理引擎…展开观点

   这类问题不会触发崩溃、警告或明显异常，因此常被误判为模型能力波动。演讲者强调，输出质量差并不必然意味着需要重新训练或优化模型。当相同权重和输入在不同执行路径上产生异常差异时，应优先检查推理引擎…展开观点收起观点

   这类问题不会触发崩溃、警告或明显异常，因此常被误判为模型能力波动。演讲者强调，输出质量差并不必然意味着需要重新训练或优化模型。当相同权重和输入在不同执行路径上产生异常差异时，应优先检查推理引擎、调度、缓存和数值实现。静默错误的危险在于系统看起来完全健康，并可能给出高置信度结果。

   为什么重要: 如果把基础设施故障当成模型质量问题，团队会在错误层级投入研究资源，同时继续向用户交付不可信结果。

   支撑证据

   This is an engineering problem. This is an issue where that there is high confidence but the output is bad.

2. 02

   先把罕见故障压缩成快速、确定性的复现

   第一个问题具有低频、延迟出现和引擎特异性，直接发送少量请求无法重现。团队把 GPU memory utilization 从 90% 降到 20%，同时增加并发请求，以更快触发异常。随后使用 temperature zero，使同一请求能够稳定返回相同的乱码结果。这个过程把不可预测的生产症状转化为可重复调试的实验。

   为什么重要: 没有短反馈循环，底层内核和调度问题很难通过逐项排除定位；确定性复现是后续比较的基础。

   支撑证据

   we reduced it from 90% to 20%. And once we did that and then we started uh running a lot of requests uh simultaneously um all of a sudden request number let's say 8 854 suddenly returned gibberish

   第一个问题具有低频、延迟出现和引擎特异性，直接发送少量请求无法重现。团队把 GPU memory utilization 从 90% 降到 20%，同时增加并发请求，以更快触发异常。随后使用…展开观点

   第一个问题具有低频、延迟出现和引擎特异性，直接发送少量请求无法重现。团队把 GPU memory utilization 从 90% 降到 20%，同时增加并发请求，以更快触发异常。随后使用…展开观点收起观点

   第一个问题具有低频、延迟出现和引擎特异性，直接发送少量请求无法重现。团队把 GPU memory utilization 从 90% 降到 20%，同时增加并发请求，以更快触发异常。随后使用 temperature zero，使同一请求能够稳定返回相同的乱码结果。这个过程把不可预测的生产症状转化为可重复调试的实验。

   为什么重要: 没有短反馈循环，底层内核和调度问题很难通过逐项排除定位；确定性复现是后续比较的基础。

   支撑证据

   we reduced it from 90% to 20%. And once we did that and then we started uh running a lot of requests uh simultaneously um all of a sudden request number let's say 8 854 suddenly returned gibberish