天美乌鸦糖心mv

因为cuda graph要求静态shape， prefill做不到，因为prompt的长度不确定！但是decode阶段的长度固定为1，只是batch size不确定。

因此，vllm为decode捕获了多个batch size版本的graph，实例运行时可以padding到最近的batch size版本，实现推理。

。