vLLM / SGLang 启动命令生成

部署推理服务最常见的问题是参数写错、显存不够、和别的服务抢显卡。先生成命令、估算一下再启动。

说明

• 显存估算按 BF16 权重（量化时按对应字节数）和 1.5 GiB 运行开销计算，只是近似值。
• vLLM 启动时空闲显存少于“总显存 × 显存比例”会直接报错，启动前先用 nvidia-smi 确认显卡空闲。
• 参数名以所用版本的 --help 为准。部署和压测的完整流程见入门手册的 L1 实验。