随笔列表第3页 - 天涯惟笑

2018年4月13日

摘要：参考： "Deep Learning TensorFlow (14) CNN卷积神经网络_深度残差网络 ResNet" 先前的研究已经证明，拥有至少一个隐层的神经网络是一个通用的近似器，只要提高网络的深度，可以近似任何连续函数。因此，理想情况下，只要网络不过拟合，深度神经网络应该是越深越好。但是阅读全文

posted @ 2018-04-13 20:57 天涯惟笑阅读(492) 评论(0) 推荐(0) 编辑

论文《Network in Network》笔记

摘要：论文：Lin M, Chen Q, Yan S. "Network In Network" [J]. Computer Science, 2013. 参考： "关于CNN中1×1卷积核和Network in Network的理解" 参考： "深度学习（二十六）Network In Network学习阅读全文

posted @ 2018-04-13 20:54 天涯惟笑阅读(1901) 评论(0) 推荐(1) 编辑

2018年4月6日

【DL.AI】《Structuring Machine Learning Projects》笔记

摘要：一、改进模型的几个方法 Collect more data Collect more diverse training set Train algorithm longer with gradient descent Try Adam instead of gradient descent Try 阅读全文

posted @ 2018-04-06 21:42 天涯惟笑阅读(294) 评论(0) 推荐(0) 编辑

2018年4月3日

【Coursera】主成分分析

摘要：一、问题主方向的概念是什么？为什么降低维度的方法是使方差最大化？假设某两个特征之间成线性关系，在二维平面上的表示就是数据点呈线性分布，那么可以通过将数据在主方向上进行投影，得到一个一维的数据，这个一维的数据保留了原始数据大部分的信息. 两个特征之间成线性关系，但是由于一些噪声的影响，所以数据分布阅读全文

posted @ 2018-04-03 12:05 天涯惟笑阅读(189) 评论(0) 推荐(0) 编辑

【Coursera】因子分析模型

摘要：一、协方差矩阵协方差矩阵为对称矩阵。在高斯分布中，方差越大，数据分布越分散，方差越小发，数据分布越集中。在协方差矩阵中，假设矩阵为二维，若第二维的方差大于第一维的方差，则在图像上的体现就是：高斯分布呈现一个椭圆形，且主轴对应的就是方差大的第二维度。简而言之，若对角线元素相等，则高斯分布的图形是阅读全文

posted @ 2018-04-03 12:04 天涯惟笑阅读(1988) 评论(0) 推荐(0) 编辑

【Coursera】高斯混合模型

摘要：一、高斯混合模型软分类算法，即对每一个样本，计算其属于各个分布的概率，概率值最大的就是这个样本所属的分类。对于训练样本的分布，看成为多个高斯分布加权得到的。其中每个高斯分布即为某一特定的类。高斯混合模型和高斯判别分析非常像，唯一的区别就是在高斯混合模型中，每个样本所属的类别标签是未知的。为了阅读全文

posted @ 2018-04-03 12:04 天涯惟笑阅读(244) 评论(0) 推荐(0) 编辑

【Coursera】应用机器学习的建议

摘要：偏差方差权衡使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但计算代价较小使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算代价比较大，但是可以通过归一化手段来调整而更加适应数据。通常选择较大的神经网络并采用归一化处理会比采用较小的神经网络效果要好。对阅读全文

posted @ 2018-04-03 11:58 天涯惟笑阅读(205) 评论(0) 推荐(0) 编辑

【CS231N】7、卷积神经网络

摘要：一、疑问 1. assignments2 在代码文件 FullyConnectedNets.ipynd 中，有代码如下：此处用 np.prod 和 np.linspace 等一系列函数初始化权重w和x，与之前直接用 np.random 等函数想比略显复杂，如此初始化的好处是什么？ A：在这个代码阅读全文

posted @ 2018-04-03 11:47 天涯惟笑阅读(524) 评论(0) 推荐(0) 编辑

【CS231N】6、神经网络动态部分：损失函数等

摘要：一、疑问二、知识点 1. 损失函数可视化损失函数一般都是定义在高维度的空间中，这样要将其可视化就很困难。然而办法还是有的，在1个维度或者2个维度的方向上对高维空间进行切片，例如，随机生成一个权重矩阵，该矩阵就与高维空间中的一个点对应。然后沿着某个维度方向前进的同时记录损失函数值的变化。换句阅读全文

posted @ 2018-04-03 11:46 天涯惟笑阅读(1289) 评论(0) 推荐(0) 编辑

【CS231N】5、神经网络静态部分：数据预处理等

摘要：一、疑问二、知识点 1. 白化白化操作的输入是特征基准上的数据，然后对每个维度除以其特征值来对数值范围进行归一化。该变换的几何解释是：如果数据服从多变量的高斯分布，那么经过白化后，数据的分布将会是一个均值为零，且协方差相等的矩阵。该操作的代码如下：警告：夸大的噪声。注意分母中添加了1e 阅读全文

posted @ 2018-04-03 11:46 天涯惟笑阅读(304) 评论(0) 推荐(0) 编辑

天涯惟笑

公告