随笔分类 -  大数据处理

大数据处理
breeze源码阅读心得
摘要：在阅读Spark ML源码的过程中，发现很多机器学习中的优化问题，都是直接调用breeze库解决的，因此拿来breeze源码想一探究竟。整体来看，breeze是一个用scala实现的基础数学库，breeze之于Spark ML，就像numpy和scipy之于sklearn一样，很多Spark ML中 阅读全文

posted @ 2018-04-01 14:32 jicanghai 阅读(1071) 评论(0) 推荐(0)

Spark ML源码分析之四 树
摘要：之前我们讲过，在Spark ML中所有的机器学习模型都是以参数作为划分的，树相关的参数定义在treeParams.scala这个文件中，这里构建一个关于树的体系结构。首先，以DecisionTreeParams作为起始，这里存储了跟树相关的最基础的参数，注意它扩展自PredictorParams。接 阅读全文

posted @ 2018-04-01 13:43 jicanghai 阅读(628) 评论(0) 推荐(0)

Spark ML源码分析之三 分类器
摘要：前面跟大家扯了这么多废话，终于到具体的机器学习模型了。大部分机器学习的教程，总要从监督学习开始讲起，而监督学习的众多算法当中，又以分类算法最为基础，原因在于分类问题非常的单纯直接，几乎不需要引入一些其它概念，因此我们就先从分类器开始讲起。 还记得第一节介绍的Spark ML架构吗？从Param起始， 阅读全文

posted @ 2018-03-24 14:43 jicanghai 阅读(786) 评论(0) 推荐(0)

Spark ML源码分析之二 从单机到分布式
摘要：前一节从宏观角度给大家介绍了Spark ML的设计框架（链接：http://www.cnblogs.com/jicanghai/p/8570805.html），本节我们将介绍，Spark ML中，机器学习问题从单机到分布式转换的核心方法。 单机时代，如果我们想解决一个机器学习的优化问题，最重要的就是 阅读全文

posted @ 2018-03-24 11:36 jicanghai 阅读(726) 评论(0) 推荐(1)

导航