machine learning for hacker记录(1) R与机器学习
开篇：首先这本书的名字很霸气，全书内容讲的是R语言在机器学习上面的应用，一些基本的分类算法(tree,SVM,NB),回归算法,智能优化算法,维度约减等，机器学习领域已经有很多成熟的R工具箱，毕竟这个领域被统计学称霸了十多年，常用R工具箱都可以在这里面找到http://www.rdatamining.com/docs，http://www.mloss.org/software/
本书第一张介绍了R以及相应包的安装，同时拿了UFO数据集进行练手，数据集以及源码网上都有的
首先加载数据集（博客园的插入代码不支持R语言！！！！）
1 ufo <- read.delim(file.path("data", "ufo", "ufo_awesome.tsv"), 2 sep = "\t", 3 stringsAsFactors = FALSE, 4 header = FALSE, 5 na.strings = "")
read.* 有好多函数csv,csv2,table,delim等，具体的操作可以查看帮助文档?read.delim，这里面第一个参数路径，sep文本的分隔符，stringsAsFactors 是否转化为因子变量，header 是否有文件头 ，na.strings缺失值的处理；
加载数据集后 看看文件的头六个样本或最后六个样本(head(ufo)/tail(ufo))
数据集中包含61869个instance，5个feature，v1,v2是第一次看到ufo的时间，向当局报道看见ufo的时间，v3是目击者所在的城市，所在的州，v4对ufo的短描述,v5看见ufo持续的时间,v6长描述
可以把v1~v6换成我们自己定义的名词
1 names(ufo) <- c("DateOccurred" , "DateReported" , "Location", "ShortDescription", "Duration", "LongDescription")
看到第1,2个feature 时间是字符串型的，这里可以转化为R的时间格式
1 ufo$DateOccurred<-as.Date(ufo$DateOccurred,format="%Y%m%d");
结果出错了，执行下面语句发现 某些样本的日期有问题
1 head(ufo[which(nchar(ufo$DateOccurred)!=8 | nchar(ufo$DateReported)!=8),1])
[1] "0000" [2] "Callers report sighting a number of soft white balls of lights headingin an easterly directing then changing direction to the west beforespeeding off to the north west." [3] "0000" [4] "0000" [5] "0000" [6] "0000"
这条语句的意思就是 把数据集中第一列跟第二列的字符长度不为8的 样本找出来并取前六个看看，可以看出有些样本的日期字符串是异常的，接下来看看到底有多少个这样的样本。
1 > good.rows <- ifelse(nchar(ufo$DateOccurred) != 8 | nchar(ufo$DateReported) != 8,FALSE,TRUE) 2 > length(which(!good.rows)) 3 [1] 730
有730个这样的样本
这里good.rows 得到了 日期完整的样本index
更新ufo，并转化日期字符串为R内置的日期格式
1 ufo <- ufo[good.rows, ] 2 ufo$DateOccurred <- as.Date(ufo$DateOccurred, format = "%Y%m%d") 3 ufo$DateReported <- as.Date(ufo$DateReported, format = "%Y%m%d")
可以看到Location 特征是一个字符串，包含城市跟州的信息，现在想把城市跟州拆分作为两列加入到ufo数据集中。
首先定义一个函数
1 get.location <- function(l) 2 { 3 split.location <- tryCatch(strsplit(l, ",")[[1]],error = function(e) return(c(NA, NA))) 4 clean.location <- gsub("^ ","",split.location) 5 if (length(clean.location) > 2) 6 { 7 return(c(NA,NA)) 8 } 9 else 10 { 11 return(clean.location) 12 } 13 }
trycatch是异常函数，gsub是正则函数，把字符串首字符为空格的去掉，最后判断得到的clean.location的list是否长度为2，就是一个为城市一个为州，如果比如Location里面城市跟州之间有好多个逗号，那么也会被返回NA的。
把这个函数应用到数据集上
1 > city.state <- lapply(ufo$Location, get.location) 2 > head(city.state) 3 [[1]] 4 [1] "Iowa City" "IA" 5 6 [[2]] 7 [1] "Milwaukee" "WI" 8 9 [[3]] 10 [1] "Shelton" "WA" 11 12 [[4]] 13 [1] "Columbia" "MO" 14 15 [[5]] 16 [1] "Seattle" "WA" 17 18 [[6]] 19 [1] "Brunswick County" "ND"
用到了lapply(list-apply)函数，形式apply(vector,function)，然后返回特定结果
这里返回了list链表
1 > location.matrix <- do.call(rbind, city.state) 2 > ufo <- transform(ufo, 3 + USCity = location.matrix[, 1], 4 + USState = tolower(location.matrix[, 2]), 5 + stringsAsFactors = FALSE)
在ufo后面添加2列特征，其中USState把字母转化成了小写；
下面接着把数据集中不在美国的的样本 城市跟州都定为NA,接着抽取发生在美国的UFO样本
1 us.states<-c('ak','al','ar','az','ca','co','ct','de','fl','ga' 2 ,'hi','ia','id','il','in','ks','ky','la','ma','md' 3 ,'me','mi','mn','mo','ms','mt','nc','nd','ne','nh' 4 ,'nj','nm','nv','ny','oh','ok','or','pa','ri','sc' 5 ,'sd','tn','tx','ut','va','vt','wa','wi','wv','wy') 6 ufo$USState <- us.states[match(ufo$USState, us.states)] 7 ufo$USCity[is.na(ufo$USState)] <- NA
8 ufo.us <- subset(ufo, !is.na(ufo$USState))
ufo.us就是发生在美国目击ufo的样本，ufo.us类似跟ufo一样是个数据框，是ufo的subset
现在通过summary函数观察一下各个特征的5个统计数
> summary(ufo.us$DateOccurred) Min. 1st Qu. Median Mean 3rd Qu. Max. "1400-06-30" "1999-09-06" "2004-01-10" "2001-02-13" "2007-07-26" "2010-08-30"
可以看到最早的在1400年 就看到了。。最早至第一个四分位的时间跨度有点大，可以看看整个数据集样本的时间分布直方图看一看
1 quick.hist <- ggplot(ufo.us, aes(x = DateOccurred)) + 2 geom_histogram() + 3 scale_x_date(breaks = "80 years") 4 5 ggsave(plot = quick.hist, 6 filename = file.path("images", "quick_hist.pdf"), 7 height = 6, 8 width = 8)
ggsave是保存图片，也可以通过print(quick.hist)来打印至屏幕
可以看出大部分时间在1960之后，继续精简数据集
1 ufo.us <- subset(ufo.us, DateOccurred >= as.Date("1990-01-01")) 2 nrow(ufo.us)
对新数据集画直方图
