Timcode

2019年7月26日

摘要：神经网络深度学习（deep learning）是机器学习下的分支它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一阅读全文

posted @ 2019-07-26 08:12 Timcode 阅读(956) 评论(0) 推荐(0) 编辑

深度学习-卷积神经网络

摘要：卷积神经网络CNN 卷积神经网络和普通神经网络非常相似：它们由具有学习权重和偏差的神经元组成。每个神经元接收一些输入，执行点积，并且可选地以非线性跟随它。整个网络仍然表现出单一的可微分评分功能：从一端的原始图像像素到另一个类的分数。并且在最后（完全连接）层上它们仍然具有损失函数，并且我们为学习阅读全文

posted @ 2019-07-26 08:00 Timcode 阅读(509) 评论(0) 推荐(0) 编辑

2019年7月24日

深度分析-梯度下降

摘要：梯度下降由于梯度下降法中负梯度方向作为变量的变化方向，所以有可能导致最终求解的值是局部最优解，所以在使用梯度下降的时候，一般需要进行一些调优策略：学习率的选择：学习率过大，表示每次迭代更新的时候变化比较大，有可能会跳过最优解；学习率过小，表示每次迭代更新的时候变化比较小，就会导致迭代阅读全文

posted @ 2019-07-24 17:05 Timcode 阅读(1248) 评论(0) 推荐(0) 编辑

机器学习-特征值,svd分解

摘要：求矩阵的秩设，已知r(A)=2，则参数x，y分别是解：任意三阶子式=0，有二阶子式≠0，但是这些子式比较多，可以使用初等变换，因为初等变换不改变矩阵的秩，可以将矩阵通过初等行（列）变换，化为行阶梯矩阵，有几行不等于0，秩就是几。行列式的转换 Am×nx=0只有零解 <=> r(A)=n 特别阅读全文

posted @ 2019-07-24 14:45 Timcode 阅读(2111) 评论(0) 推荐(0) 编辑

深度学习-mnist手写体识别

摘要： mnist手写体识别 Mnist数据集可以从官网下载，网址： http://yann.lecun.com/exdb/mnist/ 下载下来的数据集被分成两部分：55000行的训练数据集（mnist.train）和10000行的测试数据集（mnist.test）。每一个MNIST数据单元有两部分组成：阅读全文

posted @ 2019-07-24 11:53 Timcode 阅读(3066) 评论(0) 推荐(0) 编辑

深度学习-交叉熵损失

摘要： SoftMax回归对于MNIST中的每个图像都是零到九之间的手写数字。所以给定的图像只能有十个可能的东西。我们希望能够看到一个图像，并给出它是每个数字的概率。例如，我们的模型可能会看到一个九分之一的图片，80％的人肯定它是一个九，但是给它一个5％的几率是八分之一（因为顶级循环），并有一点概率所有阅读全文

posted @ 2019-07-24 11:51 Timcode 阅读(1829) 评论(0) 推荐(0) 编辑

2019年7月23日

机器学习-EM算法

摘要：最大期望算法 EM算法的正式提出来自美国数学家Arthur Dempster、Nan Laird和Donald Rubin，其在1977年发表的研究对先前出现的作为特例的EM算法进行了总结并给出了标准算法的计算步骤，EM算法也由此被称为Dempster-Laird-Rubin算法。1983年，美国数阅读全文

posted @ 2019-07-23 17:22 Timcode 阅读(988) 评论(0) 推荐(0) 编辑

机器学习-EM算法的收敛证明

摘要：上一篇开头说过1983年，美国数学家吴建福（C.F. Jeff Wu）给出了EM算法在指数族分布以外的收敛性证明。 EM算法的收敛性只要我们能够证明对数似然函数的值在迭代的过程中是增加的即可: 证明: 一直我们的EM算法会极大化这个似然函数L, 问题得证. 阅读全文

posted @ 2019-07-23 17:16 Timcode 阅读(2237) 评论(0) 推荐(0) 编辑

机器学习-层次聚类（划分聚类）

摘要：层次聚类（划分聚类）聚类就是对大量未知标注的数据集，按照数据内部存在的数据特征将数据集划分为多个不同的类别，使类别内的数据比较相似，类别之间的数据相似度比较小；属于无监督学习。算法步骤 1.初始化的k个中心点 2.为每个样本根据距离分配类别 3.更新每个类别的中心点（更新为该类别的所有样本的均值阅读全文

posted @ 2019-07-23 08:19 Timcode 阅读(7241) 评论(0) 推荐(2) 编辑

2019年7月22日

机器学习-FP Tree

摘要：接着是上一篇的apriori算法: FP Tree数据结构为了减少I/O次数，FP Tree算法引入了一些数据结构来临时存储数据。这个数据结构包括三部分，如下图所示第一部分是一个项头表。里面记录了所有的1项频繁集出现的次数，按照次数降序排列。比如上图中B在所有10组数据中出现了8次，因此排在第阅读全文

posted @ 2019-07-22 17:10 Timcode 阅读(442) 评论(0) 推荐(0) 编辑

公告