随笔分类 -  spark

spark-MLlib之协同过滤ALS
摘要：协同过滤与推荐 协同过滤是一种根据用户对各种产品的交互与评分来推荐新产品的推荐系统技术。 协同过滤引入的地方就在于它只需要输入一系列用户/产品的交互记录； 无论是显式的交互(例如在购物网站上进行评分)还是隐式的(例如用户访问了一个 产品的页面但是没有对产品评分)交互皆可。仅仅根据这些交互，协同过滤算 阅读全文
posted @ 2017-11-22 17:07 提君 阅读(1826) 评论(0) 推荐(0)
spark-MLlib之线性回归
摘要：简介机器学习中的线性回归，列举一个用spark java 代码的应用实例，包括训练集和官方api文档的参考链接 阅读全文
posted @ 2017-11-22 09:19 提君 阅读(4940) 评论(0) 推荐(0)
源码追踪，解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.问题
摘要：解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.问题， 进行源码的追踪，剖析异常原因，加深对问题的解决思路 阅读全文
posted @ 2017-09-21 11:39 提君 阅读(35637) 评论(2) 推荐(3)
spark-shell简单使用介绍(scala)
摘要：运行spark-shell,简单运行几个例子，介绍spark的运行，以及scala的运用 阅读全文
posted @ 2017-09-20 18:52 提君 阅读(1652) 评论(0) 推荐(0)
运行Spark-shell，解决Unable to load native-hadoop library for your platform
摘要：在使用spark-shell时，出现警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 两种方法进行解决 阅读全文
posted @ 2017-09-20 16:30 提君 阅读(10609) 评论(1) 推荐(1)
在linux上安装spark详细步骤
摘要：spark2.2.0版本在linux上的安装步骤 阅读全文
posted @ 2017-09-20 15:22 提君 阅读(27381) 评论(0) 推荐(0)
Spark源码编译，官网学习
摘要：参考官方文档，进行spark源码编译 阅读全文
posted @ 2017-09-19 17:13 提君 阅读(322) 评论(0) 推荐(0)