训练算力与时间估算

申请算力、规划实验之前，先估算一次训练要多少 GPU 时。

说明

全参数训练的计算量约为 6 × 参数量 × token 数（前向 2 倍，反向 4 倍）；MoE 模型用激活参数量。
LoRA 等参数高效微调不计算权重的梯度，计算量约为 4 × 参数量 × token 数。
实际的 MFU 通常在 30%～50%，小批量、长序列、多机通信都会降低利用率。