2018年5月14日
深度学习—梯度下降、牛顿法、拟牛顿法
摘要： 1、梯度下降法 梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。 梯度下降法的优化思想：用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步 阅读全文
posted @ 2018-05-14 16:33 深度机器学习 阅读(1244) 评论(0) 推荐(0) 编辑
深度学习—优化算法对比
摘要： 1、优化算法 SGD：随机梯度下降 SGD+Momentum: 基于动量的SGD（在SGD基础上做过优化） SGD+Nesterov+Momentum：基于动量，两步更新的SGD（在SGD+Momentum基础上做过优化） Adagrad：自适应地为各个参数分配不同学习速率 Adadelta： 针对 阅读全文
posted @ 2018-05-14 12:00 深度机器学习 阅读(714) 评论(0) 推荐(0) 编辑
深度学习—卷积的理解
摘要： 1、参数共享的道理 如果在图像某些地方探测到一个水平的边界是很重要的，那么在其他一些地方也会同样是有用的，这是因为图像结构具有平移不变性。所以在卷积层的输出数据体的55x55个不同位置中，就没有必要重新学习去探测一个水平边界了。 在反向传播的时候，都要计算每个神经元对它的权重的梯度，但是需要把同一个 阅读全文
posted @ 2018-05-14 11:07 深度机器学习 阅读(9532) 评论(0) 推荐(1) 编辑
2018年5月12日
深度学习—常见激活函数对比
摘要： 1、为什么使用激活函数？ 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 2、为什么分类问题不能使用mse损失函数 阅读全文
posted @ 2018-05-12 16:43 深度机器学习 阅读(1832) 评论(0) 推荐(0) 编辑
2018年5月11日
机器学习（九）—逻辑回归与SVM区别
摘要： 逻辑回归详细推导：http://lib.csdn.net/article/machinelearning/35119 面试常见问题：https://www.cnblogs.com/ModifyRong/p/7739955.html 1、LR和SVM有什么相同点 （1）都是监督分类算法，判别模型； （ 阅读全文
posted @ 2018-05-11 22:23 深度机器学习 阅读(4460) 评论(0) 推荐(1) 编辑
2018年5月10日
C++（一）— stringstream的用法
摘要： 输入输出的头文件 <iostream> string流的头文件 <sstream> 文件流的头文件 <fstream> 1.利用输入输出做数据转换 stringstream ss_stream; ss_stream << i; // 将int输入流中 ss_stream >> str; // 将ss 阅读全文
posted @ 2018-05-10 21:39 深度机器学习 阅读(514) 评论(0) 推荐(0) 编辑
深度学习—反向传播的理解
摘要： 1、反向传播 简单的理解，反向传播的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。 链式求导十分冗余，因为很多路径被重复访问了，对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的。 同样是利用链式法则，BP算法则机智地避开了这种冗余，它对于每一个路径只访 阅读全文
posted @ 2018-05-10 19:24 深度机器学习 阅读(7634) 评论(0) 推荐(1) 编辑
2018年5月9日
深度学习—线性分类器理解
摘要： 1、我们将要实现一种更强大的方法来解决图像分类问题，该方法可以自然地延伸到神经网络和卷积神经网络上。这种方法主要有两部分组成：一个是评分函数（score function），它是原始图像数据到类别分值的映射。另一个是损失函数（loss function），它是用来量化预测分类标签的得分与真实标签之间 阅读全文
posted @ 2018-05-09 19:50 深度机器学习 阅读(2291) 评论(0) 推荐(0) 编辑
Python—numpy.bincount()
摘要： 1、它大致说bin的数量比x中的最大值大1，每个bin给出了它的索引值在x中出现的次数。下面，我举个例子让大家更好的理解一下： 2、下面，我来解释一下weights这个参数。文档说，如果weights参数被指定，那么x会被它加权，也就是说，如果值n发现在位置i，那么out[n] += weight[ 阅读全文
posted @ 2018-05-09 17:04 深度机器学习 阅读(10736) 评论(0) 推荐(1) 编辑
Python—numpy.argsort()
摘要： 函数将数组的值从小到大排序后，并按照其相对应的索引值输出. 一维数组： 二维数组： 阅读全文
posted @ 2018-05-09 16:43 深度机器学习 阅读(2407) 评论(0) 推荐(0) 编辑