R语言-实用功能性语句2

（2017-05-30 银河统计）

  本篇文章对工作中使用的R语言实用语句进行总结，方便查找和复用。

目录概览

 1)R语言生成表格html

 2)Json格式数据和R格式数据互转

 3)[ ]数据的提取

 4)which的用法

 5)Subset

 6)R读取excel数据

 7)R设置stringsAsFactors=F问题相关

 8)使用R读取json文件并转成data.frame

 9)R运行环境初始化

 10)R中函数的输出—print、return&list

 11)异常值处理——如何报错

 12)如何在循环中，实时输出时间消耗

 13)“列表”用法小结

 14)构造新序列

 15)数据框和列表--直接定义变量名

 16)names、str、unique组合使用

 17)typeof()、mode()、class()组合使用

 18)逻辑运算

 19)数据合并-merge()函数

 20)cbind和rbind函数

 21)不等长合并

 22)语句22

 23)语句23

 24)语句24

 25)语句25

 26)语句26

 27)语句27

 28)语句28

 29)语句29

 30)语句30

1)R语言生成表格html

	# oPath <- "D:/" 
	# oName <- "test"   
	# oType <- "csv"
	# oPathFile <- paste(oPath,oName,'.',oType,sep="",collapse="")
	# mydata <- read.csv(oPathFile,header=T)
	
	mydata <- read.table("clipboard",header=T)
	class(mydata)
	dim(mydata)
	head(mydata)
	
	oTBPaste <- function(rowdata, oType){
	  
	  if(oType==1){
	    result <- paste("<td>",rowdata,"</td>",sep="",collapse="")
	  }else if(oType==2){
	    result <- paste("<th>",rowdata,"</th>",sep="",collapse="")
	  }
	  return(result)
	  
	}
	
	oTitle <- names(mydata)
	# length(oTitle)
	oTitle <- paste("<th>",oTitle,"</th>",sep="",collapse="")
	oTB1 <- "<table style='width:100%; font-size:8pt;' border=1>"
	oTB2 <- paste("<tr style='font-weight: bold;text-align:left;font-size:8pt;color:#990000'>",oTitle,"</tr>",sep="",collapse="")
	oTB3 <- apply(mydata, 1, oTBPaste, 1)
	# class(oTB3)
	# length(oTB3)
	oTB4 <- paste("<tr>",oTB3,"</tr>",sep="",collapse="")
	oTB5 <- "</table>"
	oTB <- paste(oTB1,oTB2,oTB4,oTB5,sep="",collapse="")
	
	# oTB
	cat(oTB, "\n")
	
	# oPath <- "C:/Users/abdata/Desktop/" 
	# oName <- "oTB"   
	# oType <- "txt"
	# oPathFile <- paste(oPath,oName,'.',oType,sep="",collapse="")
	# write.csv(oTB,file=oPathFile,row.names=F,quote=F)

2)Json格式数据和R格式数据互转

	library(rjson)
	oJs_str <- '{"oTableName":"data_sf_bc_index_price" , "oFieldType":["number", "text", "number"], "oNum":[1, 0, 1]}'
	oJs <- fromJSON(oJs_str)
	oTableName <- oJs$oTableName
	oFieldType <- oJs$oFieldType
	oNum <- oJs$oNum
	oTableName
	oFieldType
	oNum

3)[ ]数据的提取

	[]    用来提取对象相同的类型，可以包含不止一个元素
	[[]]  用来提取额 list或data frame里面的元素，一般只能提取单个的元素
	$     通过名字来提取 list 或 data frame的元素

4)which的用法

	zz<-c(5,2,-3,8,12,1)
	which(zz*zz>8)
	[1] 1 3 4 5
	
	### which反馈回来的满足要求的索引号
	a[which(a$Ozone>31 & a$Temp>90),]
	a[which(a$Month==6),]
	mydata[which(mydata$gender=='F' & mydata$age > 65), ]
	
	### 重新提取数据的奇数行
	ni[seq(1,nrow(ni),2), ]
	### 判断某个数是否存在
	aa$a <- c(6,1,4,5,5,1)
	if (length(which(aa$a ==100))) print("zzz")
	if (length(which(aa$a ==6)))   print("zzz")
	if (!length(which(aa$a ==6)))  print("zzz")

5)Subset

	subset(mydata, age >= 20 | age < 10,select=c(ID, Weight)）
	
	subset(mydata, sex=="m" & age > 25, select=weight:income)
	### 注：& 表示 和， | 表示 或

	mydata[sample(1:nrow(mydata), 50,replace=FALSE),]
	
	library(gcookbook)  # For the data set
	cdat <- subset(countries, Year==2009 & Name %in% c("Canada", "Ireland", "United Kingdom", "United States"))
	c2009 <- subset(countries, Year==2009, select=c(Name, GDP, laborrate, healthexp, infmortality))
	
	### subset筛选与索引筛选的区别
	#### 索引筛选没法区分NA，不知道该不该删去
	> x<-c(6,1:3,NA,12)
	> x
	[1] 6 1 2 3 NA 12
	> x[x>5]
	[1] 6 NA 12
	> subset(x,x>5)
	[1] 6 12

6)R读取excel数据

	# 有时候会遇见Excel文件，使用R语言读取略显麻烦。写个函数即可，代码如下（注意使用了RODBC包）：
	
	xlsx_read <- function(fileName) {  
	    require(RODBC)  
	    conn = odbcConnectExcel(fileName)  
	    sheetName <- sqlTables(conn)$TABLE_NAME  
	    data <- list()  
	    for(i in 1 : length(sheetName)) {  
	        data[[i]] = sqlFetch(conn, sheetName[i])  
	    }  
	    close(conn)
	    return(data)  
	}  

	# 获取目录下所有文件名

	filenames=dir("C:/Users/abdata/Desktop/")
	## or推荐第二种
	setwd("C:/Users/abdata/Desktop/")
	filenames=dir()

	# 读取文件输出文件

	require(data.table)
	da<- fread("test_data.csv", header=FALSE)
	u<- read.csv("test_data.csv",fileEncoding='gbk',header = TRUE)   # 读取gbk编码文件
	write.table (out, file ="test_data.csv", sep ="," , row.names=F, col.names=F, quote=F)

	# 读写xlsx文件

	library("xlsx")
	t=read.xlsx('test_data.xlsx',sheetIndex=1)
	write.xlsx(t, file="./s.xlsx")


	# list在批量读取数据时候的用法：

		1、如何循环读取xlsx中的sheet数据，然后批量放入list之中？——先定义list
		2、如何定义写出时候的文件名字——paste函数

	批量读取的基本流程就是:写入（list[[i]]）、操作、写出

	#1、读取xlsx中所有的sheet表格  
	# 如果像vector一样定义List？？——list()函数来主动定义，用data.list[[i]]来赋值

	data.list<-list()  
	for (i in 1:2){  
	  data.list[[i]]=read.xlsx("C1.xlsx",i)  
	}  
	
	以上是写入，看看如何写出：
	
	# 3、利用List批量读出操作  
	# 难点：如果构造输出表格的名称——paste来构造名称  

	flie=list()  
	xlsxflie=paste(1:2,".xlsx",sep="")  
	  
	for(i in 1:2){  
	flie[[i]]=paste("C:/Users/long/Desktop/",xlsxflie[i],sep="")  
	write.xlsx(data.list2[[i]],file)  
	}  

	写出时候文件名称困扰我很久，如何按照一定的规则来命名，可以先用paste弄好固定格式，然后通过paste[i]循环调用。其中：paste之后会有如vector一般的格式，可以用[i]来调用。

7)R设置stringsAsFactors=F问题相关

	stringsAsFactors=F

	# 以前在r里读数据，经常把character读成factor，还得费半天劲把它转回来，尤其是把factor转成numeric还没有那么直接。例如：

		dat <- read.csv("C:/Users/abdata/Desktop/test_data.csv", header=T, stringsAsFactors = F)

	# 存数据时，经常多出一列id，很讨厌，设置row.names = F，比如：

		write.csv(dat, "C:/Users/abdata/Desktop/test_data.csv", row.names = F)

8)使用R读取json文件并转成data.frame

	library(jsonlite)
	ftag <- "C:/Users/abdata/Desktop/twitter_text_test_period"
	data <- readLines(gzfile(paste0(ftag,"1.json.gz")))
	datalist <- strsplit(data, '\n')
	b <- sapply(datalist, fromJSON)
	indx <- sapply(b, length)
	df <- as.data.frame(do.call(rbind, lapply(b, 'length<-', max(indx))))
	colnames(df) <- names(b[[which.max(indx)]])

9)R运行环境初始化

	options(stringsAsFactors=F, scipen=99)  # scipen 科学计数法相关
	rm(list=ls())
	gc()    # 清空垃圾内存
	getwd() # 获得工作路径信息
	setwd() # 设置工作路径

10)R中函数的输出—print、return&list

如果有很多输出项目，那么需要return（终止运算，并输出return中的项目）最终输出的项目。

R中默认的情况是将最后一句作为返回值。

  • return&list组合

      	sbdeep <- function(data, parts, xiaoz){  
  	  parts<-parts         # 分几个箱  
  	  xiaoz<-xiaoz         # 极小值  
  	  # 这里以data等比分为4段，步长为1/4  
  	  value<-quantile(data,probs = seq(0,1,1/parts))
  	  number<-mapply(function(x){  
  	    for (i in 1:(parts-1))   
  	    {  
  	      if(x>=(value[i]-xiaoz)&x<value[i+1])  
  	      {  
  	        return(i)  
  	      }  
  	    }  
  	    if(x+xiaoz>value[parts])  
  	    {  
  	      return(parts)  
  	    }  
  	    return(-1)  
  	  },data)  
  	  # 打标签L1 L2 L3 L4  
  	  return(list(degree=paste("L",number,sep=""),degreevalue=number,value=table(value),number=table(number)))  
  	  # 将连续变量转化成定序变量，此时为L1,L2,L3,L4...根据parts               
  	}  

  return和list的组合输出结果比较合理。

  该函数是对单个序列数据进行等深分箱，可以返回四类：
  一个基于L1L2L3....的每个指标标签序列degree；
  标签序列值degreevalue，
  每个百分位数对应的变量值value，
  不同百分点的数量number。

  • print直接输出

      function(){  
    print(plot(cv.out))   
  } 

  function(){  
    print('hello world')   
  }

11)异常值处理——如何报错

# 异常处理，当仅输入一个数据的时候，告知不能计算标准差  
	if(length(x) == 1){                            
		stop("can not compute sd for one number, a numeric vector required.\n")         
	}

12)如何在循环中，实时输出时间消耗

第一办法：使用Rstudio版本，里面有一个Profiling with profvis，可以很好的对你函数每一步的耗时进行参看。

第二办法：利用difftime函数

	t1 = Sys.time()  
	for (i in 1:5){  
		a=a+1  
		b=a*a  
		print(difftime(Sys.time(), t1, units = 'sec'))  
	}
 
先预设当前时间，然后用difftime+print方式，循环输出。

13)“列表”用法小结

  • 提取某List某指标

    方法一：先编写一个提取list子集的函数：

      subdate<- function(x){
  	x$DATE
  }

    然后用lapply或者sapply，sapply(s,subdate)看一下出来的结果

    方法二：提取DATE内容：

      s[[1]]$DATE

    变动其中的数字，就可以把每一组的DATE提取出来了。（需要自己编写循环）

    方法三：提取长度大于某程度的list

      x[lapply(x, length)>100]

    用lapply计算每个x的长度。

  • list之间的合并

    list之间的合并用：

      c（list(1),list(2)）

14)构造新序列

  • 1、数值构造函数rep与seq

      # 数值构造rep与seq  
  rep(1:4,each=2)  # 依次重复1:4两遍  
  rep(1:4,2)       # 注意，重复1:4两遍  
  seq(from=3,to=5,by=0.2)
  rep(seq(from=3,to=5,by=0.2),2) # 混合使用

    rep在使用过程中也很灵活，each代表AABB；默认的为ABAB。

      > rep(c("id","use"),list(2,3))  
  [1] "id"  "id"  "use" "use" "use"  
  > rep(c("id","use"),each=2)  
  [1] "id"  "id"  "use" "use"  
  > rep(c("id","use"),2)  
  [1] "id"  "use" "id"  "use"  
  > rep(c("id","use"),unlist(2,3))  
  [1] "id"  "use" "id"  "use"

    rep与list相结合

      > rep(c("id","use"),list(2,3))  
  [1] "id"  "id"  "use" "use" "use"

    可以实现AABBB，与each相似。在构造一些序列时候十分好用。

  • 2、矩阵构造

    构造矩阵

      # byrow按行的顺序（横向）赋值；bycol按列（竖）赋值
  matrix(1:15,nrow=3,ncol=5,byrow=T) 
  # 只能按列（竖）赋值 
  array(1:15,dim=c(3,5))

  • 3、字符构造paste

    seq代表是ck与数值1 之间用啥记号，如：ck_1,ck*2

    collapse代表是ck1与ck2之间用啥记号如：ck1_ck2 ck1 * ck2

    字符构造paste

      paste("CK", 1:6, sep="")        
  paste("CK", 1:6, sep="*")         # 对比  
  paste("CK", 1:6,collapse = "")   
  paste("CK", 1:6,collapse = "_")   # 对比

  • 4、paste与list合用——批量处理

    list能够很好与paste函数应用起来

    paste与list合用

      x <- list(a="aaa", b="bbb", c="ccc")   
  y <- list(d=1, e=2)   
  z <- paste(x, y, sep="-")  
  paste("T", z, sep=":")

15)数据框和列表--直接定义变量名

数据储存形式

	data.frame(wi=iris,ci=cars)   # 数据框形式，可以直接定义变量名  
	list(wi=iris,ci=cars)         # list，也可以直接定义变量名  

注意：attach()、detach()
可以将数据框中的变量释放到Rs内存中，然后就可以直接调用。

	attach(iris)  
	names(setosa)     
	detach(iris)

在data.frame中，是可以实现数据集重命名的，比如data.frame(x=iris,y=cars)，也可以实现横向、纵向重命名，data.frame(x=iris,y=cars,row.names=iris)

16)names、str、unique组合使用

数据查看函数  

	names(iris)           # 查看所有变量名字  
	str(iris)             # 变量属性（int整数,num数值）  
	unique(iris$setosa)   # 查看分类变量的水平  
	table(iris$setosa)    # 分类水平，不同水平的个数（=unique+sum功能）  
	summary(iris)         # 所有变量各自的均值、分位数、众数、最大、最小值等统计量，在回归中就是系数表等  
	attributes(iris)      # 包括names（变量名）、row.names（序号的名称）、class(数据形式)

一般names、str、unique会组合使用。

17)typeof()、mode()、class()组合使用

	> gl(2,5)            # 新建一个因子  
	[1] 1 1 1 1 1 2 2 2 2 2  
	Levels: 1 2  
	> class(gl(2,5))     # 查看变量的类，显示为因子；  
	[1] "factor"  
	> mode(gl(2,5))      # 查看数据大类，显示为数值型；  
	[1] "numeric"  
	> typeof(gl(2,5))    # 查看数据细类，显示为整数型；  
	[1] "integer"  
	 
	从精细度上说，typeof>mode>class

18)逻辑运算

方法解释
!x逻辑非
x & y逻辑与
x && y逻辑与（仅匹配并返回第一个值）
x | y逻辑或
x || y逻辑或（仅返回第一个值）
x or (x,y)异或

19)数据合并-merge()函数

最常用merge()函数，但是这个函数使用时候这两种情况需要注意：

1、merge(a,b)，纯粹地把两个数据集合在一起，没有沟通a、b数据集的by，这样出现的数据很多，相当于a*b条数据；

2、merge函数是匹配到a,b数据集的并，都有的才匹配出来，如果a、b数据集ID不同，要用all=T（下面有all用法的代码）。

# 横向合并

	ID<-c(1,2,3,4)  
	name<-c("Jim","Tony","Lisa","Tom")  
	score<-c(89,22,78,78)  
	student1<-data.frame(ID,name)  
	student2<-data.frame(ID,score)  
	total_student<-merge(student1,student2,by="ID")  #或者rbind()  
	total_student 

# 纵向合并

	ID<-c(1,2,3)  
	name<-c("Jame","Kevin","Sunny")  
	student1<-data.frame(ID,name)  
	ID<-c(4,5,6)  
	name<-c("Sun","Frame","Eric")  
	student2<-data.frame(ID,name)  
	total<-cbind(student1,student2)  
	total  

# merge的all用法

	> id=c("1","2","3")  
	> M=c("7","2","3")  
	> ink2=data.frame(id,M)  
	>   
	> merge(ink1,ink2,by="id",all=T)  # 所有数据列都放进来，空缺的补值为NA  
	  id    R    M  
	1  1    9    7  
	2  2    7    2  
	3  4    9 <NA>  
	4  3 <NA>    3  
	> merge(ink1,ink2,by="id",all=F)  # 默认，只取两者的共有的部分  
	  id R M  
	1  1 9 7  
	2  2 7 2  

# 其中，all=T代表全连接，all.x=T代表左联结；all.y=T代表右连接

20)cbind和rbind函数

cbind()和rbind()，cbind()按照纵向方向，或者说按列的方式将矩阵连接到一起；rbind()按照横向的方向，或者说按行的方式将矩阵连接到一起。

rbind/cbind对数据合并的要求比较严格：合并的变量名必须一致；数据等长；指标顺序必须一致。相比来说，其他一些方法要好一些，有dplyr，sqldf中的union

21)不等长合并

  • plyr包

      rbind.fill函数可以很好将数据进行合并，并且补齐没有匹配到的缺失值为NA。

  # 不等长合并  
  # 如何解决合并时数据不等长问题——两种方法：do.call函数以及rbind.fill函数（plyr包）  
  # rbind.fill函数只能合并数据框格式  
  # do.call函数在数据框中执行函数（函数，数据列）

  	library("plyr")  #加载获取rbind.fill函数  
  	# 第一种方法  
  	list1<-list()  
  	list1[[1]]<-data.frame(t(data.frame(Job_Pwordseg.ct[1])))  
  	list1[[2]]<-data.frame(t(data.frame(Job_Pwordseg.ct[2])))  
  	do.call(rbind.fill,list1)  
  	# 第二种方法
  	u<-rbind.fill(data.frame(t(data.frame(Job_Pwordseg.ct[1]))),data.frame(t(data.frame(Job_Pwordseg.ct[2]))))  

  核心函数是plyr包中的rbind.fill函数（合并的数据，必须是data.frame），do.call可以用来批量执行。

  • dplyr包

      dplyr::bind_rows() 
  
  效果是，不匹配到的放在最后，且等于NA  NA  NA  NA

22)语句22

23)语句23

24)语句24

25)语句25

26)语句26

27)语句27

28)语句28

29)语句29

30)语句30

posted @ 2017-05-30 22:23  银河统计  阅读(1174)  评论(0)  编辑  收藏  举报