深度学习 - 随笔分类(第6页) - 一杯明月

回归与分类的定义

摘要：深度学习的基本问题是：学习一个由x到y的映射f 如果y是连续向量，则为回归问题如果y是离散值，则为分类问题如果y是随机变量，则为生成问题为了学习这个映射f，首先要准备好一个映射库然后依据大量的数据，从映射库中搜索最接近目标映射f的假设h 这个搜索方法往往称为机器学习算法阅读全文

posted @ 2019-11-10 19:01 一杯明月阅读(877) 评论(0) 推荐(0)

图像卷积动图

摘要：参考链接：40 卷积神经网络的结构3(多输入通道和多输出通道,池化层)_哔哩哔哩_bilibili 来源：https://blog.csdn.net/sinat_32043495/article/details/78841553 全连接层 / FC layer 两层之间所有神经元都有权重连接通常全阅读全文

posted @ 2019-11-10 18:33 一杯明月阅读(1170) 评论(0) 推荐(0)

batch、epoch、iteration

摘要：深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度阅读全文

posted @ 2019-11-08 20:40 一杯明月阅读(551) 评论(0) 推荐(0)

调参技巧

摘要：数据预处理方式 zero-center ,这个挺常用的.X -= np.mean(X, axis = 0) # zero-centerX /= np.std(X, axis = 0) # normalize PCA whitening,这个用的比较少. 训练技巧要做梯度归一化,即算出来的梯度除以m 阅读全文

posted @ 2019-11-08 15:38 一杯明月阅读(248) 评论(0) 推荐(0)

Dropout

摘要：为什么说Dropout可以解决过拟合？（1）取平均的作用：先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结阅读全文

posted @ 2019-11-08 15:36 一杯明月阅读(416) 评论(0) 推荐(0)

adam优化算法

摘要：1.SGD的难处：考虑z=1/20*x2+y2图像，等高线图和负梯度方向：假设从（-7,2）这一点开始进行梯度更新（下降）： learningrate=0.9; x-=0.9*(1/10)*x (1) y-=0.9*2*y (2) 把（-7,2）这一点带入（1）和（2）式中，得到一个新的(x, 阅读全文

posted @ 2019-11-06 16:56 一杯明月阅读(1398) 评论(0) 推荐(0)

导数和微分的区别

摘要：导数和微分的区别导数是函数在某一点处的斜率，是Δy和Δx的比值；而微分是指函数在某一点处的切线在横坐标取得增量Δx以后，纵坐标取得的增量，一般表示为dy。每一步我们都按照更新x，这就是梯度下降的原理。阅读全文

posted @ 2019-11-06 14:42 一杯明月阅读(2703) 评论(0) 推荐(0)

深度学习accuracy

摘要：accuracy=(1+3)/(1+2+3+4)，即在所有样本（例子）中做出正确预测的的比例，或者说正确预测的样本数占总预测样本数的比值。 precision=(1)/(1+2)，指的是正确预测的正样本数占所有预测为正样本的数量的比值，也就是说所有预测为正样本的样本中有多少是真正的正样本。从这我们可阅读全文

posted @ 2019-11-05 19:32 一杯明月阅读(1894) 评论(0) 推荐(0)

度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam

摘要：https://blog.csdn.net/u012328159/article/details/80311892 阅读全文

posted @ 2019-11-05 00:26 一杯明月阅读(330) 评论(0) 推荐(0)

SGD的动量（Momentum）算法

摘要：引入动量（Momentum）方法一方面是为了解决“峡谷”和“鞍点”问题；一方面也可以用于SGD 加速，特别是针对高曲率、小幅但是方向一致的梯度。如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开阅读全文

posted @ 2019-11-04 23:12 一杯明月阅读(11827) 评论(0) 推荐(1)

梯度下降原理和随机梯度下降

摘要：2022、9、7 23:03 27 梯度下降_哔哩哔哩_bilibili 2021.11.9： (4 封私信 / 79 条消息) 【视频】梯度下降是什么鬼？（高中生都看得懂） - 知乎 (zhihu.com) 之前：理解随机梯度下降，首先要知道梯度下降法，故先介绍梯度下降法：梯度下降法大多数机阅读全文

posted @ 2019-11-04 18:01 一杯明月阅读(5595) 评论(0) 推荐(0)

过拟合和欠拟合

摘要：过拟合：样本数量少于要估计的参数，容易造成过拟合，泛化能力会很差。欠拟合：样本数量多于要估计的参数，易造成欠拟合。阅读全文

posted @ 2019-11-02 15:17 一杯明月阅读(269) 评论(0) 推荐(0)

卷积神经网络入门

摘要：参考：https://zhuanlan.zhihu.com/p/27908027 阅读全文

posted @ 2019-10-31 00:45 一杯明月阅读(176) 评论(0) 推荐(0)

pointnet++运行

摘要：https://blog.csdn.net/qq_40196164/article/details/84638410 阅读全文

posted @ 2019-10-23 21:02 一杯明月阅读(937) 评论(0) 推荐(0)

语义分割和分类

摘要：1. 语义分割：给图像每个像素一个语义标签或者给点云中每个点一个语义标签。缺点：如果无法对实例进行判别，比如把人的标签订为红色像素，如果有两个红色像素，无法区分这两个红色像素是属于同一个人还是属于不同的人。 2. 分类：划分不同类别的事物。比如人，车，树。缺点：无法区分同类别中的个体。 3. 实例分阅读全文

posted @ 2019-10-21 22:27 一杯明月阅读(5274) 评论(0) 推荐(0)

conda管理python环境

摘要：https://blog.csdn.net/wld914674505/article/details/80615761 阅读全文

posted @ 2019-10-18 22:03 一杯明月阅读(208) 评论(0) 推荐(0)

神经网络中Batch Size的理解

摘要：直观的理解：Batch Size定义：一次训练所选取的样本数。Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU内存不大，该数值最好设置小一点。为什么要提出Batch Size？在没有使用Batch Size之前，这意味着网络在训练时，是一次把所有阅读全文

posted @ 2019-10-18 13:08 一杯明月阅读(5098) 评论(0) 推荐(0)

ubuntu环境下进行深度学习时查看GPU和CPU实时使用情况

摘要：1. gpu、显存什么是Nvidia-smi nvidia-smi是nvidia 的系统管理界面，其中smi是System management interface的缩写，它可以收集各种级别的信息，查看显存使用情况。此外, 可以启用和禁用 GPU 配置选项 (如 ECC 内存功能)。 a.静态查阅读全文

posted @ 2019-10-17 21:02 一杯明月阅读(12951) 评论(0) 推荐(4)

准确率（Accuracy）精确率（Precision）与召回率（Recall）

摘要：准确率（Accuracy）—— 针对整个模型精确率（Precision）灵敏度（Sensitivity）：就是召回率（Recall）参考：https://blog.csdn.net/Orange_Spotty_Cat/article/details/80520839 阅读全文

posted @ 2019-09-10 15:48 一杯明月阅读(2026) 评论(0) 推荐(0)

tf.train.Saver()

摘要：参考：https://zhuanlan.zhihu.com/p/78504614 阅读全文

posted @ 2019-09-08 15:42 一杯明月阅读(154) 评论(0) 推荐(0)

随笔分类 - 深度学习