Skip to content

模型参数量与 KV Cache ​

新模型发布时,config.json 就是最准确的结构说明:从它算出参数量和 KV Cache,再估算部署需要的显存。

说明 ​

  • 支持 Llama、Qwen、Mistral 这类稠密模型,Mixtral、Qwen-MoE、DeepSeek(MLA 注意力 + 共享专家)这类 MoE 模型。
  • 计算结果和这些模型 safetensors 文件中的参数总数一致(单元测试中对照了 Qwen3-8B、Llama-3.1-8B、Mixtral-8x7B、Qwen3-30B-A3B)。
  • 多模态模型只计算 text_config 中的语言模型部分。