gongzb

摘要： 1. 计算量的理论对比 BGD（批量梯度下降）：每次迭代需要计算所有 m 个样本的梯度并求和，计算量为 O(m)。 SGD（随机梯度下降）：每次迭代只计算1 个样本的梯度，计算量为 O(1)。但完成一个 epoch 需要处理 m 个样本，因此总计算量为 m × O(1) = O(m)。 结论：当 S 阅读全文

摘要： 转自：https://zhuanlan.zhihu.com/p/603691759 一句话概括CQL：通过打压OOD(out of distribution)的q值的同时，去适当的鼓励已经在buffer(训练集)中的q值，从而防止q值被高估。论文中严格证明了通过该方法，能确保学习到q值的下界值，避免 阅读全文

摘要： 如何计算大模型到底需要多少显存，是常常被问起的问题，笔者在《探秘大模型应用开发》中有过详细的推算，详见： 一文探秘LLM应用开发(12)-模型部署与推理(大模型相关参数计算及性能分析) ，通过文章可以清楚知道模型大小和显存占用的关系及计算方法。 现从实用角度再介绍一个简单公式和一个工具方便大家工作中 阅读全文

摘要： 全连接层公式的解析 整体理解 该公式描述的是全连接层如何将输入图像的像素信息转换为隐藏表示的像素信息。全连接层的目的是让每个隐藏神经元都能接收来自每个输入像素的信息，从而实现对输入图像的特征提取和表示。 公式细节 偏置项：公式中的\([U]_{i,j}\)是偏置参数，它为每个隐藏表示位置\((i, 阅读全文

摘要： BERT中，为什么已经有85%不被mask的单词，还需要在15%进行“mask策略”的单词中选取10%保持原词不变？问题描述：问题背景：BERT的输入数据“mask策略”原因分析：问题描述：为什么已经有85%不进行“mask策略”修改的token，还需要在15%进行“mask策略”的token中选取 阅读全文

摘要： 首先定义共现词频矩阵X，\(\widetilde{v_{i}}\)和\(\widetilde{v_{k}}\)表示词i和词k的上下文词向量（context vector），其中元素\(x_{ij}\)为词j出现在词i的环境的次数。令\(x_{i}=\sum_{k}^{ }x_{ik}\)为任意词出现 阅读全文

摘要： 添加 Helm 仓库 helm repo add nvdp https://nvidia.github.io/k8s-device-plugin helm repo update 创建 RuntimeClass apiVersion: node.k8s.io/v1 kind: RuntimeClas 阅读全文

摘要： 0. 介绍 在本文中，我将解释如何将2D卷积实现为矩阵乘法。 该说明来自于CS231n(用于视觉识别的卷积神经网络)的笔记。 大家应该已经熟悉深度神经网络中卷积运算的概念。 如果没有，这个代码仓库有十分形象的动画来演示说明什么是卷积。 可以在此处下载用于重现本文计算内容的代码。 1. 正文 1.1 阅读全文

摘要： 转自：https://fissssssh.aiursoft.cn/posts/configure-nvidia-gpus-in-k3s/ 安装 NVIDIA 驱动 略 安装成功后可使用nvidia-smi命令查看驱动版本和 cuda 版本 $ nvidia-smi Thu Oct 12 11:29: 阅读全文

摘要： 一、 k3s安装 1.1 修改hostname hostnamectl set-hostname <hostname> 1.2 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 1.3 关闭selinux setenforce 0 阅读全文