Skip to content
科研工具箱
搜索
K
Main Navigation
科研工具
实用工具
关于
相关站点
实验室主页
科研入门手册
科研技能包
深色模式
目录
回到顶部
本页目录
模型参数量与 KV Cache
新模型发布时,config.json 就是最准确的结构说明:从它算出参数量和 KV Cache,再估算部署需要的显存。
说明
支持 Llama、Qwen、Mistral 这类稠密模型,Mixtral、Qwen-MoE、DeepSeek(MLA 注意力 + 共享专家)这类 MoE 模型。
计算结果和这些模型 safetensors 文件中的参数总数一致(单元测试中对照了 Qwen3-8B、Llama-3.1-8B、Mixtral-8x7B、Qwen3-30B-A3B)。
多模态模型只计算 text_config 中的语言模型部分。