2025 年 4月 20 日随笔档案 - 功夫小熊猫

2025年4月20日

摘要：环境 ubuntu22.04 试用版下载链接 https://www.ibm.com/cn-zh/products/storage-scale 我的版本：Storage_Scale_Developer-5.2.2.1-x86_64-Linux apt install -y build-essenti 阅读全文

posted @ 2025-04-20 19:22 功夫小熊猫阅读(719) 评论(4) 推荐(0)

大模型参数组成计算QwQ-32B为例

摘要：计算大模型参数量主要依赖于模型的架构和各层配置，我们把常用大模型分为三层：输入层、transformer层、输出层。输入层参数组成是Embedding的词表总和 transformer层参数组成包括归一化参数、QKV的参数、输出全连接线性变换参数、FFN投影参数输出层归一化参数、全连接线性阅读全文

posted @ 2025-04-20 12:59 功夫小熊猫阅读(226) 评论(0) 推荐(0)