大模型显存与速度估算

部署或训练一个大模型之前，先算一算显卡放不放得下、能同时服务多少请求。

说明

• 权重 = 参数量 × 每个参数的字节数；每个 token 的 KV Cache = 2 × 层数 × KV 头数 × 每头维度 × 字节数。
• 全参数训练按混合精度加 Adam 计算：每个参数 16 字节（权重 2、梯度 2、FP32 主权重 4、两个动量 8），没有计入激活，实际还要再多。
• 解码速度上限 ≈ 显存带宽 ÷ 权重大小（单个请求），预填充时间 ≈ 2 × 参数量 × token 数 ÷ 实际算力，都是理论估算，实测通常更慢。
• 模型结构取自官方 config.json，显卡参数是厂商标称值，可能有误差，选“自定义”可以自己填。