查阅资料后发现 Dataloader中的num_workers参数(线程数)设置为0，该为4后，nvidia-smi查看GPU占用率变为高(不要用任务管理器查看) Read More
开始学习java时，第一次用idea，该问题困扰一上午，网上也没有解决方案，最后自己摸索如下。打开File-> Settings->Editor->Smart Keys,将To proper indent position 改为 其他两个（看自己喜好） Read More
当标量对向量求导时不需要该参数，但当向量对向量求导时，若不加上该参数则会报错，显示“grad can be implicitly created only for scalar outputs”，对该gradient参数解释如下。 当$\mathbf y$对$\mathbf x$求导时，结果为梯度矩 Read More
看了刘建平老师的博客https://www.cnblogs.com/pinard/p/6422831.html对如下其中两个公式进行详细推导 损失函数为（大写字母为矩阵，小写字母字母加粗为列向量，其中$WL$的维度为$M_L*M_{L-1}$,即第$L$层神经元个数乘以第$L-1$层神经元个数）： Read More
将$L(y_i,f(x_i))$在$f(x_i)=f_{m-1}(x_i)$处泰勒展开到一阶（舍去余项，故为近似） \[ L(y_i,f(x_i))\approx L(y_i,f_{m-1}(x_i))+\left. \frac{\partial L(y_i,f(x_i))}{\partial f( Read More
刚刚接触机器学习，对训练集、验证集和训练集的概念感觉十分迷糊，查询了一些资料，记录一下自己的理解。 以简单的Ridge回归为例子说明，损失函数模型如下： \(J(\theta) = \frac{1}{2}(\textbf{X}\theta - \textbf{Y})^\mathrm{T}(\text Read More