jicanghai

摘要： 在阅读Spark ML源码的过程中，发现很多机器学习中的优化问题，都是直接调用breeze库解决的，因此拿来breeze源码想一探究竟。整体来看，breeze是一个用scala实现的基础数学库，breeze之于Spark ML，就像numpy和scipy之于sklearn一样，很多Spark ML中 阅读全文

摘要： 之前我们讲过，在Spark ML中所有的机器学习模型都是以参数作为划分的，树相关的参数定义在treeParams.scala这个文件中，这里构建一个关于树的体系结构。首先，以DecisionTreeParams作为起始，这里存储了跟树相关的最基础的参数，注意它扩展自PredictorParams。接 阅读全文

摘要： 前面跟大家扯了这么多废话，终于到具体的机器学习模型了。大部分机器学习的教程，总要从监督学习开始讲起，而监督学习的众多算法当中，又以分类算法最为基础，原因在于分类问题非常的单纯直接，几乎不需要引入一些其它概念，因此我们就先从分类器开始讲起。 还记得第一节介绍的Spark ML架构吗？从Param起始， 阅读全文

摘要： 前一节从宏观角度给大家介绍了Spark ML的设计框架（链接：http://www.cnblogs.com/jicanghai/p/8570805.html），本节我们将介绍，Spark ML中，机器学习问题从单机到分布式转换的核心方法。 单机时代，如果我们想解决一个机器学习的优化问题，最重要的就是 阅读全文

摘要： 本博客为作者原创，如需转载请注明http://www.cnblogs.com/jicanghai/p/8570805.html 在深入理解Spark ML中的各类算法之前，先理一下整个库的设计框架，是非常有必要的，优秀的框架是对复杂问题的抽象和解剖，对这种抽象的学习本身，就是加深框架所面对的问题的理 阅读全文

摘要： Adaboost是广义上的提升方法（boosting method）的一个特例。广泛应用于人脸识别等领域。 它的基本思想是，“三个臭皮匠赛过诸葛亮”，即用多个弱分类器的线性加权，来得到一个强的分类器。弱分类器到底有多“弱”呢？在某些情境下，xi>v就是一个弱分类器，它只对输入特征的某一个维度做判断， 阅读全文

摘要： RBM训练方法笔记 阅读全文