随笔分类 -  SparkR

SparkR学习分享
Managing Spark data handles in R
摘要：When working with big data with R (say, using Spark and sparklyr) we have found it very convenient to keep data handles in a neat list ordata_frame. P 阅读全文
posted @ 2017-05-27 12:23 payton数据之旅 阅读(256) 评论(0) 推荐(0)
R formulas in Spark and un-nesting data in SparklyR: Nice and handy!
摘要：Intro In an earlier post I talked about Spark and sparklyR and did some experiments. At my work here at RTL Nederland we have a Spark cluster on Amazo 阅读全文
posted @ 2017-02-16 14:24 payton数据之旅 阅读(278) 评论(0) 推荐(0)
CentOS下SparkR安装部署：hadoop2.7.3+spark2.0.0+scale2.11.8+hive2.1.0
摘要：注：之前本人写了一篇SparkR的安装部署文章：SparkR安装部署及数据分析实例，当时SparkR项目还没正式入主Spark，需要自己下载SparkR安装包，但现在spark已经支持R接口，so更新了这篇文章。 1、Hadoop安装 参考： http://www.linuxidc.com/Linu 阅读全文
posted @ 2016-09-05 18:45 payton数据之旅 阅读(3345) 评论(0) 推荐(0)
Extending sparklyr to Compute Cost for K-means on YARN Cluster with Spark ML Library
摘要：Machine and statistical learning wizards are becoming more eager to perform analysis with Spark MLlibrary if this is only possible. It’s trendy, posh, 阅读全文
posted @ 2016-08-26 11:43 payton数据之旅 阅读(694) 评论(0) 推荐(0)
sparklyr包：实现Spark与R的接口
摘要：日前，Rstudio公司发布了sparklyr包。该包具有以下几个功能： 实现R与Spark的连接—sparklyr包提供了一个完整的dplyr后端 筛选并聚合Spark数据集，接着在R中实现分析与可视化 利用Spark的MLlib机器学习库在R中实现分布式机器学习算法 可以创建一个扩展，用于调用S 阅读全文
posted @ 2016-06-30 16:38 payton数据之旅 阅读(5948) 评论(0) 推荐(0)
SparkR安装部署及数据分析实例
摘要：1. SparkR的安装配置1.1. R与Rstudio的安装1.1.1. R的安装我们的工作环境都是在Ubuntu下操作的，所以只介绍Ubuntu下安装R的方法：1） 在/etc/apt/sources.list添加源deb http://mirror.bjtu.edu.cn/cran/bin/l... 阅读全文
posted @ 2015-01-16 09:48 payton数据之旅 阅读(15156) 评论(11) 推荐(1)