CART算法及案例分析

CART算法的R语言实现

#步骤1 数据预处理，建立训练集和预测集

loc <- "http://archive.ics.uci.edu/ml/machine-learning-databases/"

ds <- "breast-cancer-wisconsin/breast-cancer-wisconsin.data"

url <- paste(loc, ds, sep="")   

data <- read.table(url, sep=",", header=FALSE, na.strings="?")  #na.strings="?" : 数集中缺失的类型用“?”来表示。

head(data) #未命名

 

names(data) <- c("ID", "clumpThickness", "sizeUniformity",      #给数据集属性贴标签

                   "shapeUniformity", "maginalAdhesion",

                   "singleEpithelialCellSize", "bareNuclei",

                   "blandChromatin", "normalNucleoli", "mitosis", "class")

head(data) #命名之后

 

data$class[data$class==2]<- "良性"   #数据预处理，设置class=2的显示"良性"

data$class[data$class==4]<- "恶性"   #数据预处理，设置class=4的显示"恶性"

data<-data[-1] #删除第一列（这列是编号，分析过程不考虑）

str(data)

 

set.seed(1234)

train<-sample(nrow(data),0.7*nrow(data))

tdata<-data[train,]

dim(tdata)

 

vdata<-data[-train,]

dim(vdata)

 

#步骤2 用rpart函数构建树

library(rpart)

dtree<-rpart(class~.,data=tdata,method="class",parms=list(split="gini"))

printcp(dtree) 

 

#步骤3 prune剪枝，提高模型的泛化能力

dtree$cptable  #剪枝的复杂度

 

tree<-prune(dtree,cp=0.0125)

tree$cptable  #剪枝后的复杂度及分枝数

 

#步骤4 模型可视化

opar<-par(no.readonly = T)

#par(mfrow=c(1,2))  #画面分页

library(rpart.plot)

rpart.plot(dtree,branch=1,type=2,fallen.leaves=T,cex=0.8,sub="剪枝前")

 

rpart.plot(dtree,branch=1,type=4,fallen.leaves=T,cex=0.8,sub="剪枝后")

 

 

#步骤5 利用预测集检验模型效果

predtree<-predict(tree,newdata=vdata,type="class") #利用预测集进行预测

table(vdata$class,predtree,dnn=c("真实值","预测值")) #输出混淆矩阵

 

CART经典算法案例分析

library(rpart)

data(car.test.frame) #加载数据

head(car.test.frame) #查看数据

car.test.frame$Mileage=100*4.596/(1.6*car.test.frame$Mileage) #将Mileage（英里数）的取值换算为“油耗”指标

names(car.test.frame)<-c("价格","产地","可靠性","油耗","类型","车重","发动机功率","净马力")

head(car.test.frame)

str(car.test.frame)

 

Data_Mileage<-matrix(0,60,1)  #设矩阵Data_Mileage用来存放新变量

Data_Mileage[which(car.test.frame$"油耗">=11.6)]="A"   #将“油耗”在11.6~15.8区间的样本Data_Mileage值设置为A

Data_Mileage[which(car.test.frame$"油耗"<=9)]="C"   #将“油耗”在7.7~9区间的样本Data_Mileage值设置为C

Data_Mileage[which(Data_Mileage==0)]="B"   #将“油耗”不在A、C区间的样本Data_Mileage值设置为B

car.test.frame$"分组油耗"=Data_Mileage   #在car.test.frame数据集中添加信变量“分组油耗”，取值为Data_Mileage

car.test.frame[1:10,c(4,9)]   #查看预处理后car.test.frame数据集中“”油耗及“分组油耗”变量的前10行数据

 

a<-round(1/4*sum(car.test.frame$"分组油耗"=="A"))   #计算A组中的测试集样本，记为a

b<-round(1/4*sum(car.test.frame$"分组油耗"=="B"))   #计算B组中的测试集样本，记为b

c<-round(1/4*sum(car.test.frame$"分组油耗"=="C"))   #计算C组中的测试集样本，记为c

sub<-strata(car.test.frame,stratanames="分组油耗",size=c(c,b,a),method="srswor")   #car.test.frame中的“分组油耗”变量进行分层抽样

Car_train<-car.test.frame[-sub$ID_unit,]   #生成训练集Car_train

Car_test<-car.test.frame[sub$ID_unit,]   #生成测试集Car_test

formula_Car_Reg<-油耗~价格+产地+可靠性+类型+车重+发动机功率+净马力

Car_Reg<-rpart(formula_Car_Reg,Car_train,method="anova")  #用除“分组油耗”以外的所有变量来对“油耗”建立决策树，且选择树的类型为回归树，即method="anova"

Car_Reg

 

printcp(Car_Reg)

 

summary(Car_Reg)

 

 

 

Car_Reg2<-rpart(formula_Car_Reg,Car_train,method="anova",cp=0.5)

Car_Reg2

 

Car_Reg3<-prune.rpart(Car_Reg,cp=0.5) #对决策树Car_Reg按照CP值为0.5进行剪枝，新的回归树记为Car_Reg3

Car_Reg3 #回归树展示

 

#可通过深度参数maxdepth对所生成树进行控制

Car_Reg4<-rpart(formula_Car_Reg,Car_train,method="anova",maxdepth=1) #树的深度maxdepth设为1，新的回归树记为Car_Reg4

Car_Reg4  #导出回归树Car_Reg4的基本信息

 

printcp(Car_Reg4) #导出回归树Car_Reg4的CP值

 

Car_plot<-rpart(formula_Car_Reg,Car_train,method="anova",minsplit=10)  #用树状图进行观察，选择参数minsplit为10来绘制决策树图形

Car_plot

 

library(rpart.plot)

rpart.plot(Car_plot) #绘制决策树

 

rpart.plot(Car_plot,type=4)