一杯明月 - 博客园

2019年11月10日

摘要：参考链接：40 卷积神经网络的结构3(多输入通道和多输出通道,池化层)_哔哩哔哩_bilibili 来源：https://blog.csdn.net/sinat_32043495/article/details/78841553 全连接层 / FC layer 两层之间所有神经元都有权重连接通常全阅读全文

posted @ 2019-11-10 18:33 一杯明月阅读(1167) 评论(0) 推荐(0)

2019年11月9日

ubuntu自定义截图快捷键

摘要：如果只需要获取一张屏幕截图，不对其进行编辑的话，那么键盘的默认快捷键就可以满足要求了。而且不仅仅是 Ubuntu ，绝大部分的 Linux 发行版和桌面环境都支持以下这些快捷键： PrtSc – 获取整个屏幕的截图并保存到 Pictures 目录。 Shift + PrtSc – 获取屏幕的某个区域阅读全文

posted @ 2019-11-09 16:44 一杯明月阅读(573) 评论(0) 推荐(0)

2019年11月8日

batch、epoch、iteration

摘要：深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度阅读全文

posted @ 2019-11-08 20:40 一杯明月阅读(551) 评论(0) 推荐(0)

调参技巧

摘要：数据预处理方式 zero-center ,这个挺常用的.X -= np.mean(X, axis = 0) # zero-centerX /= np.std(X, axis = 0) # normalize PCA whitening,这个用的比较少. 训练技巧要做梯度归一化,即算出来的梯度除以m 阅读全文

posted @ 2019-11-08 15:38 一杯明月阅读(248) 评论(0) 推荐(0)

Dropout

摘要：为什么说Dropout可以解决过拟合？（1）取平均的作用：先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结阅读全文

posted @ 2019-11-08 15:36 一杯明月阅读(416) 评论(0) 推荐(0)

2019年11月7日

Python-numpy包中多维数组转置，transpose.swapaxes的轴编号（axis）的理解

摘要： transpose()中三个轴编号的位置变化理解 transpose(a,b,c)其中a轴编号即为参考编号，垂直于a的平面即为所有平面，该平面上的数据再根据b,c相对于（0,1，2）的位置关系进行改变，下面以实例举例说明 A.transpose(0,1,2)对应的就是arr数组原形 In [8]: 阅读全文

posted @ 2019-11-07 10:38 一杯明月阅读(1188) 评论(0) 推荐(0)

2019年11月6日

adam优化算法

摘要： 1.SGD的难处：考虑z=1/20*x2+y2图像，等高线图和负梯度方向：假设从（-7,2）这一点开始进行梯度更新（下降）： learningrate=0.9; x-=0.9*(1/10)*x (1) y-=0.9*2*y (2) 把（-7,2）这一点带入（1）和（2）式中，得到一个新的(x, 阅读全文

posted @ 2019-11-06 16:56 一杯明月阅读(1398) 评论(0) 推荐(0)

泰勒展开，泰勒公式，泰勒级数

摘要： (1 封私信 / 44 条消息) 如何通俗地解释泰勒公式？ - 知乎 (zhihu.com) 泰勒：任何函数都可以展开成多项幂函数的和的形式。 sinx晚上取听相声去了，回来后，cosx不认识他了，因为他听相声听的太乐了（泰勒了），乐开了花，就展开了。对于可导函数，它有一个完全等价的，但是更高层次阅读全文

posted @ 2019-11-06 16:40 一杯明月阅读(5637) 评论(0) 推荐(0)

导数和微分的区别

摘要：导数和微分的区别导数是函数在某一点处的斜率，是Δy和Δx的比值；而微分是指函数在某一点处的切线在横坐标取得增量Δx以后，纵坐标取得的增量，一般表示为dy。每一步我们都按照更新x，这就是梯度下降的原理。阅读全文

posted @ 2019-11-06 14:42 一杯明月阅读(2692) 评论(0) 推荐(0)

matlab的plot3()函数、mesh()函数和surf()函数

摘要： 1.plot3()函数例1：绘制一条空间折线。 x=[0.2,1.8,2.5]; y=[1.3,2.8,1.1]; z=[0.4,1.2,1.6]; figure(1);plot3(x,y,z); grid on; axis([0,3,1,3,0,2])%设置三个坐标轴的显示范围例2：绘制参数形阅读全文

posted @ 2019-11-06 13:03 一杯明月阅读(20614) 评论(0) 推荐(0)