随笔分类 -  李沐动手学深度学习

limu|P28|Batch Normalization批量规范化
摘要：目录为什么需要批量规范化困难原因需求如何实现批量规范化公式使用部位为什么卷积层的通道维相当于全连接层的特征维？补充：为什么1*1卷积层相当于逐像素全连接层？深入思考BN的作用代码实现Q&ABatchNorm和LayerNorm的解释与对比 为什么需要批量规范化 困难 训练深层神经网络并使其在较短时间 阅读全文
posted @ 2024-08-27 16:04 xjl_ultrasound 阅读(32) 评论(0) 推荐(0)
limu|P31-34|CPU和GPU
摘要：目录CPU VS GPU提升CPU利用率1、提升空间和时间的内存本地性2、并行以利用所有核提升GPU利用率1、并行2、内存本地性3、少用控制语句4、不要频繁在CPU和GPU之间传数据单机多卡并行分布式计算 CPU VS GPU 首先，一个芯片的空间是有限的，给了很多空间给某个内容（能力强），其他内容 阅读全文
posted @ 2024-08-26 19:44 xjl_ultrasound 阅读(19) 评论(0) 推荐(0)
limu|P23-27|LeNet, AlexNet, VGG, NiN, GoogLeNet
摘要：目录LeNetAlexNetVGGNiN思路实现GoogLeNet思路实现Q&A LeNet 组成特点：2* （卷积+池化）+ 2 *全连接 + 输出 其中，卷积层压缩空间信息，提取图像特征（高宽减小，通道数增加），池化层降低空间敏感度&计算量（高宽减半，通道数不变），全连接层降维（理解为将卷积层提 阅读全文
posted @ 2024-08-26 15:33 xjl_ultrasound 阅读(41) 评论(0) 推荐(0)
limu|P19-22|卷积神经网络(CNN)基础
摘要：目录1、卷积是什么？卷积的数学公式如何在实际意义中理解卷积？数字图像处理中的卷积机器学习中的卷积（实则为“交叉相关”）2、卷积层是什么？从全连接层到卷积层：卷积是被限制的全连接层限制1：局部性限制2：平移不变性从数学公式上看全连接层与卷积层3、卷积层的超参数：kernel_size, padding 阅读全文
posted @ 2024-08-20 15:18 xjl_ultrasound 阅读(70) 评论(0) 推荐(0)
limu|P10-14|多层感知机、激活函数、模型选择、欠拟合、过拟合、权重衰减、dropout、数值稳定性、模型初始化
摘要：从感知机到多层感知机： 感知机：只能产生线性分割面，不能拟合XOR 为突破线性模型的限制，可以通过在网络中加入一个/多个隐藏层，即 多层感知机MLP。但是如果只是单纯添加隐藏层，还是等价于一个线性模型（仿射变换的仿射变换还是仿射变换），没有带来益处！此时，需要加入额外因素以激发多层架构的潜力——对每 阅读全文
posted @ 2024-08-15 21:24 xjl_ultrasound 阅读(227) 评论(0) 推荐(0)
limu|P8-9|线性回归、softmax回归
摘要：线性回归模型：\(y = Xw + b + \epsilon\) 1、如何衡量模型质量？loss function损失函数——量化实际值和预测值之间的差距 可证：在高斯噪声的假设下，线性模型的最大似然估计 等价于 最小化均方误差（MSE）。证明在另一篇里写过 平方误差： \(l^{(i)}(w,b) 阅读全文
posted @ 2024-08-09 23:24 xjl_ultrasound 阅读(74) 评论(0) 推荐(0)
limu|P1-7|安装（解决本机&Colab上pip install d2l失败）、预备知识
摘要：安装： 建议参考小土堆Pytorch教程的第一课，然后需要1-pip install d2l；2-下载所有Jupiter Notebook的文件并解压 这里面有几个问题 1、pip install d2l安装失败？ 可以试试离线安装，这篇写得很详细，亲测快速且成功：https://blog.csdn 阅读全文
posted @ 2024-08-05 23:11 xjl_ultrasound 阅读(353) 评论(0) 推荐(0)