随笔分类 - 机器学习
摘要：一 Manifold Learning 我们要做的是非线性的降维，data是分布在低维空间里面，只是被扭曲到了高维空间。 比如地球的表面是一个二维平面，但是被塞到一个三维空间中。 Manifold就是把S型摊平，将高维空间内的低维数据展开，这样才能计算点对点的距离。 二 几种方法 2.1 Local
阅读全文
摘要：一 Unsupervised Learning 把Unsupervised Learning分为两大类： 化繁为简：有很多种input，进行抽象化处理，只有input没有output 无中生有：随机给一个input，自动画一张图，只有output没有input 二 Clustering 有一大堆im
阅读全文
摘要：Introduction Why semi-supervised learning helps? outline Semi-supervised Learning for Generative Model 步骤： 原因： Low-density Separation 核心思想：非黑即白。典型的算法如
阅读全文
摘要：Deeper is Better? 是不是深度学习的Hidden layer越多越好，我们并不是单纯的研究参数增多的所带来的性能改善，我们关注的是相同的参数情况下，是不是深度越深越好。 Fat + Short v.s. Thin + Tall 那么是什么样的原因出现上边的情况呢？一个合理的解释就是M
阅读全文
摘要：为什么CNN常用于图像的识别？ 同样的pattern，在image里面，他可能会出现在image不同的部分，但是它们代表的是同样的含义，同样的形状，也有同样的neural，同样的参数，detector就可以侦测出来。 做Subsampling使图片变小对影响辨识没什么影响 整个CNN实现的过程为：
阅读全文
摘要：深度学习的过程： 通过上述的过程，我们知道，我们训练好的model需要先在training set上测试性能，并且准确率很可能不是100%。有时候我们发现我们的model在testing set上表现不好时，不一定就是over fitting，也可能是training set 上没有train好。
阅读全文
摘要：一 框架介绍 那么使用keras框架的Deep Learning 有什么感想呢，下边的一张图就很好的论证了 二 手写数字识别实例 这个时候告诉大家一个秘密，我们实际过程中并不会计算total loss 的最小值，而是将按照下边的方式进行 矩阵运算的加速： 当使用GPU时，下边所示的计算公式用 Min
阅读全文
摘要：一 预备知识 二 反向传播 取出来一个神经元 Forward pass Backward pass 第一项比较简单，通过已知的函数可以直接求出： 第二项就比较复杂，简单的求解过程如下： 前边的论述是假设有两项是已知的情况，如果不知道呢？？？ 总结： 参考： http://speech.ee.ntu.
阅读全文
摘要：一 Deep Leraning 的发展 二 深度学习的三大步骤 Step 1: Neural Network 每一个Logistic Regression 就是一个Neuron,不同的连接方式构成不同的Network。 Network 的连接方式有很多，而 Full Connect Feedforw
阅读全文
摘要：一 概述 Logistic Regression的三个步骤 现在对为什么不使用均方误差进行分析（步骤二的） 由上图可以看出，当距离目标很远时，均方误差移动速率也很慢，不容易得到好的结果。 Discriminative（Logstic） v.s. Generative（Gaussion） 两种方法的m
阅读全文
摘要：一 分类概述 二 分类实例 现在我们以宝可梦为例，宝可梦共有18中属性，如下： 上边的宝可梦输入是形象化的表示，我们应该讲宝可梦以计算机可以识别的数值进行输入 那么可能我们会问，为什么我们要预测宝可梦的类型呢，这是因为不同类型的宝可梦相遇时，他们是有属性相克的关系。 那么如何分类呢？我们之前提到过r
阅读全文
摘要：一 Review 二 Estimator（估计） 下边补充一些数理统计的知识： 由上图可以看出，样本的均值一般是不等于随机变量的期望（除非你有无穷多个样本点），而样本均值的期望是与随机变量的期望是一致的。样本均值偏离随机变量期望u的程度是由下图中的var[m]所决定的，这个值取决于sample的数量
阅读全文
摘要：一 基础回顾 二 梯度下降的三个小贴士 2.1 tuning your learning rate (1) 最流行也是最简单的做法就是：在每一轮都通过一些因子来减小learning rate。 最开始时，我们距离最低点很远，所以我们用较大的步长。 经过几轮后，我们接近了最低点，所以我们减少learn
阅读全文
摘要：一 概述 机器学习三大步骤: model (define a set of function) goodness of function pick the "best" function step1：model 在这里我们建立一个model 这个Model称之为Linear model: 不同的b、
阅读全文
摘要：一 机器学习的定义 1.1 机器学习概述 机器学习这个词是让人疑惑的，首先它是英文名称Machine Learning(简称ML)的直译，在计算界Machine一般指计算机。这个名字使用了拟人的手法，说明了这门技术是让机器“学习”的技术。但是计算机是死的，怎么可能像人类一样“学习”呢？ 传统上如果我
阅读全文
浙公网安备 33010602011771号