随笔分类 -  spark

摘要：MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树线性模型二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso，... 阅读全文

摘要：近期开始研究学习spark，开发环境有多种，由于习惯使用STS的maven项目，但是按照许多资料的方法尝试以后并没有成功，也可能是我环境问题；也可以是用scala中自带的eclipse，但是不太习惯，听说支持也不太好，好多问题；咨询一些人后说，IDEA对scala的支持比较好。所以尝试使用IDE... 阅读全文

摘要：协同过滤显示vs隐式反馈参数调整实例教程协同过滤协同过滤是推荐系统的常用方法。可以填充user-item相关矩阵中的缺失值。MLlib支持基于模型的协同过滤，即使用能够预测缺失值的一个隐藏因素集合来表示用户和产品。MLlib使用交替做小二乘法（alternating least squares, A... 阅读全文

摘要：本文来自http://spark.apache.org/docs/latest/mllib-guide.html官方文档翻译 个人翻译MLlib包括的算法和工具主要有：分类，回归，聚类，协同过滤，降维，和底层优化原语：数据类型基本统计总和统计相关性分层抽样假设检验随机数生成分类和回归线性模型（SVM... 阅读全文