gongzb

摘要： 如何计算大模型到底需要多少显存，是常常被问起的问题，笔者在《探秘大模型应用开发》中有过详细的推算，详见： 一文探秘LLM应用开发(12)-模型部署与推理(大模型相关参数计算及性能分析) ，通过文章可以清楚知道模型大小和显存占用的关系及计算方法。 现从实用角度再介绍一个简单公式和一个工具方便大家工作中 阅读全文

摘要： 全连接层公式的解析 整体理解 该公式描述的是全连接层如何将输入图像的像素信息转换为隐藏表示的像素信息。全连接层的目的是让每个隐藏神经元都能接收来自每个输入像素的信息，从而实现对输入图像的特征提取和表示。 公式细节 偏置项：公式中的\([U]_{i,j}\)是偏置参数，它为每个隐藏表示位置\((i, 阅读全文