随笔分类 - 机器学习&深度学习
摘要：1、安装Anaconda 下载：https://repo.continuum.io/archive/，我用的是Python 3.5 ，64位系统，所以选择的版本是Anaconda2-4.2.0-Windows-x86_64.exe 下载完以后，安装。 安装完以后，打开Anaconda Prompt，
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ Mini-batch梯度下降法 见另一篇文章：梯度下降法。 指数加权平均 其原理如下图所示，以每天的温度为例，每天的温度加权平均值等于β乘以前一天的温度加权平均值，再加上（1-β）乘以 当天温度的和。β值得选取对温度加权平均值的影响非常明显，图中
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ softmax回归 首先，我们看一下sigmod激活函数，如下图，它经常用于逻辑回归，将一个real value映射到（0,1）的区间（当然也可以是 （-1,1）），这样可以用来做二分类。 接下来，我们再看一下softmax函数，其函数类型如下：
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ Batch归一化 在神经网络中，我们常常会遇到梯度消失的情况，比如下图中的sigmod激活函数，当离零点很远时，梯度基本为0。为了 解决这个问题，我们可以采用Batch归一化。 通过BN法，我们将每层的激活值都进行归一化，将它们拉到均值为0、方差
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 超参数调试 在深度学习中，超参数有很多，比如学习率α、使用momentum或Adam优化算法的参数（β1，β2，ε）、层数layers、不同层隐藏 单元数hidden units、学习率衰退、mini=batch的大小等。其中一些超参数比其他参数
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 目前，机器学习已经应用在很多领域，比如现在比较火的微软的kinect，google的自动驾驶汽车等。那么 在机器学习的应用开发时，需要注意些什么呢？ 流水线式开发 比如Photo OCR技术，如下图所示，分为好几个模块，模块的输入是上一个模
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 大数据时代已经来临，它将在众多领域掀起变革的巨浪。机器学习对于大数据集的处理也变得越来越重要。大数据 集务必会带来恐怖的计算量，不仅耗费大量资源，而且给数据处理的实时性带来巨大的挑战。 想要解决这个难题，就需要采取以下措施：选择更加适合大数
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 很多网站都有推荐系统，向我们推荐我们想要地或者有可能需要的信息，那么它是怎么实现的呢？因为它们 都采用了推荐算法，在现今的推荐算法之中，最被大家广泛认可和采用的是协同过滤算法。 协同过滤算法 所谓基于内容的推荐，就是说我们的item具备某些
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 在生活中，经常会遇到这样一个对象集，有个别的对象是与大部分对象不一样的，且前者是比较罕见的。我们通常 需要去发现它，这就用到了非监督学习的异常检测算法，下面来举一些异常检测的应用： 欺骗检测 制造业质检 动力环境监测 ......... 异
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的 信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反 映此课题的信息有一定的重叠。
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 在之前发表的线性回归、逻辑回归、神经网络、SVM支持向量机等算法都是监督学习算法，需要样本进行训练，且 样本的类别是知道的。接下来要介绍的是非监督学习算法，其样本的类别是未知的。非监督学习算法中，比较有代表性 的就是聚类算法。而聚类算法中，
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 支持向量机（support vector machine），简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特 征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。 原理 SVM代价函
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 经过前几篇博客的学习，我们了解到了线性回归、逻辑回归、神经网络等的一些知识。然而，到底该怎么开发一个 机器学习系统或者选择并改进一个学习系统呢？这应该是很多初学者的困惑之处。那么本文会带领你更一步了解如何更 好地使用机器学习。 由于内容较多，做以
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 由于神经网络内容有点儿多，所以在此处建立以下目录，方便读者浏览。 简介 神经网络原理 BP神经网络 梯度检验 参数随机初始化 简介 神经细胞和人身上任何其他类型细胞十分不同，每个神经细胞都长着一根像电线一样的称为轴突（axon）的东西，它的 长度
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 过拟合 过拟合是一种现象。当我们提高在训练数据上的表现时，在测试数据上反而下降，这就被称为过拟合，或过配。过拟合发生 的本质原因，是由于监督学习问题的不适定：在高中数学我们知道，从n个（线性无关）方程可以解n个变量，解n+1个变量就会解 不出。在
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 逻辑回归 一、为什么使用logistic回归 一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。 Why? 为什么回归一般不用在分类上？其实，很多初学者都会提出这个问题。然而，文字的解释往往不能说服我们，接下来 用图示的
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 正规方程法 一、函数参数向量化 在计算机中，我们需要用同样的算法计算大量数据样本时，一般有两种方式：循环、参数向量化。 循环~，可想而知，计算量不是一般的大，不建议。 参数向量化的效率就高多了，把全部样本转换为向量，一次执行就搞定了。具体向量化方
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于 预测或者分类。该方法处理的数据可以是多维的。 一、线性回归 原理： 在连续型统计数据情况下，选取大量的样本数据，如下图中的红色十字表示的
阅读全文
摘要：前言 以下内容是个人学习之后的感悟，转载请注明出处~ 梯度下降法 一、简介 梯度下降法(gradient decent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地 逼近最小偏差模型。 二、原理 梯度下降法，顾名思义，从高处寻找最佳通往低处的方向，然后下去，直到找
阅读全文
浙公网安备 33010602011771号