摘要：
sparkR在spark2.0里面，RDD后端代码位于org.apache.spark.rdd中，R语言相关的位于org.apache.spark.api.r中。 从入口开始，./bin/sparkR里面只有四句话，调用的是这个 spark-submit里面是个一句话的shell脚本 好了，入口是o 阅读全文
posted @ 2017-03-02 15:22
holy_black_cat
阅读(281)
评论(0)
推荐(0)
摘要：
以下内容主要参照 Introducing dplyr 和 dplyr 包自带的简介 (Introduction to dplyr), 复制了原文对应代码, 并夹杂了个人理解和观点 (多附于括号内). 0 初始化0.1 安装 install.packages("dplyr") 0.2 示范数据 lib 阅读全文
posted @ 2017-03-01 17:17
holy_black_cat
阅读(4319)
评论(0)
推荐(0)
摘要：
前言 本文接上一篇文章 R语言基于S3的面向对象编程，本文继续介绍R语言基于S4的面向对象编程。 S4对象系统具有明显的结构化特征，更适合面向对象的程序设计。Bioconductor社区，以S4对象系统做为基础架构，只接受符合S4定义的R包。 目录 1 S4对象介绍 S4对象系统是一种标准的R语言面 阅读全文
posted @ 2017-03-01 17:16
holy_black_cat
阅读(4062)
评论(0)
推荐(0)
摘要：
低。有许多种方法可以提升你的代码运算效率，但或许你更想了解运算效率能得到多大的提升。本文将介绍几种适用于大数据领域的方法，包括简单的逻辑调整设计、并行处理和Rcpp的运用，利用这些方法你可以轻松地处理1亿行以上的数据集。让我们尝试提升往数据框中添加一个新变量过程(该过程中包含循环和判断语句)的运算效 阅读全文
posted @ 2017-03-01 17:15
holy_black_cat
阅读(349)
评论(0)
推荐(0)
摘要：
spark1.4.0的sparkR的思路：用spark从大数据集中抽取小数据（sparkR的DataFrame），然后到R里分析（DataFrame）。这两个DataFrame是不同的，前者是分布式的，集群上的DF，R里的那些包都不能用；后者是单机版的DF，包里的函数都能用。sparkR的开发计划， 阅读全文
posted @ 2017-03-01 17:14
holy_black_cat
阅读(389)
评论(0)
推荐(0)
摘要：
1.table函数返回众数，再转为dataframe 2.使用which 返回数组下标 which(rs.list=="rs1008507") 3.循环数值存储 （1） M<-matrix(NA,6,6)for(i in 0:6){ if(i<=2) {for(j in (2-i):(6-i)) M 阅读全文
posted @ 2017-03-01 17:14
holy_black_cat
阅读(351)
评论(0)
推荐(0)
摘要：
频数表在统计学中是一个非常基本并且重要的概念，我们这里就来讲解它的基本用法。 首先我们需要载入数据，并查看数据的基本信息 [python] view plain copy install.packages('vcd') #安装vcd包，其中有可以利用的数据Arthritis library(vcd) 阅读全文
posted @ 2017-03-01 17:13
holy_black_cat
阅读(4245)
评论(0)
推荐(0)
摘要：
1.R数据的保存与加载 可通过save()函数保存为.Rdata文件，通过load()函数将数据加载到R中。 [ruby] view plain copy > a <- 1:10 > save(a,file='d://data//dumData.Rdata') > rm(a) #将对象a从R中删除 阅读全文
posted @ 2017-03-01 17:12
holy_black_cat
阅读(27454)
评论(0)
推荐(1)
摘要：
创建DataFrame在Spark SQL中，开发者可以非常便捷地将各种内、外部的单机、分布式数据转换为DataFrame。以下Python示例代码充分体现了Spark SQL 1.3.0中DataFrame数据源的丰富多样和简单易用： 阅读全文
posted @ 2017-03-01 17:11
holy_black_cat
阅读(1936)
评论(0)
推荐(0)
摘要：
直到12月初在微软技术大会，看到我软的工程师演示R的使用，我就震惊了，然后最近在网上到处了解和爬一些R的资料，看着看着就入迷了，这就是个大宝库了，以前怎么没发现，看来还是太狭隘了。直到前几天我看到这个Awesome R文档，我就静不下来了，对比了目前自己的工作和以后的方向，非常适合我。所以毫不犹豫的 阅读全文
posted @ 2017-03-01 17:09
holy_black_cat
阅读(2252)
评论(0)
推荐(0)
浙公网安备 33010602011771号