《BI那点儿事》数据挖掘各类算法——准确性验证

准确性验证示例1:——基于三国志11数据库

数据准备:

挖掘模型:
依次为:Naive Bayes 算法、聚类分析算法、决策树算法、神经网络算法、逻辑回归算法、关联算法

提升图:

依次排名为:
1. 神经网络算法(92.69% 0.99)
2. 逻辑回归算法(92.39% 0.99)
3. 决策树算法(91.19% 0.98)
4. 关联算法(90.60% 0.98)
5. 聚类分析算法(89.25% 0.96)
6. Naive Bayes 算法(87.61 0.96)

Naive Bayes算法——分类矩阵

说明:
其他类的538个样本有482个预测正确,32个错分为军师类,24个错分为将军类,预测正确率为89.59%;
军师20个样本有13个预测正确,7个错分为其他类,预测正确率为65%;
将军112个样本有92个预测正确,16个错分为其他类,4个错分为军师类,预测正确率为82.14%。
聚类分析算法——分类矩阵

说明:
其他类的538个样本有536个预测正确,2个错分为将军类,预测正确率为99.63%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有62个预测正确,50个错分为其他类,预测正确率为55.36%。
决策树算法——分类矩阵

说明:
其他类的538个样本有538个预测正确,预测正确率为100%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有73个预测正确,39个错分为其他类,预测正确率为65.18%。
神经网络算法——分类矩阵

说明:
其他类的538个样本有524个预测正确,5个错分为军师类,9个错分为将军类,预测正确率为97.40%;
军师20个样本有5个预测正确,15个错分为其他类,预测正确率为25%;
将军112个样本有92个预测正确,20个错分为其他类,预测正确率为82.14%。
逻辑回归算法——分类矩阵

说明:
其他类的538个样本有526个预测正确,6个错分为军师类,6个错分为将军类,预测正确率为97.77%;
军师20个样本有5个预测正确,15个错分为其他类,预测正确率为25%;
将军112个样本有88个预测正确,24个错分为其他类,预测正确率为78.57%。
关联算法——分类矩阵

说明:
其他类的538个样本有519个预测正确,19个错分为军师类,预测正确率为96.47%;
军师20个样本有0个预测正确,20个错分为其他类,预测正确率为0%;
将军112个样本有88个预测正确,24个错分为其他类,预测正确率为78.57%。
分类矩阵——预测正确率汇总分析:

 

其他

军师

将军

神经网络算法

97.40%

25%

82.14%

逻辑回归算法

97.77%

25%

78.57%

决策树算法

100%

0%

65.18%

关联算法

96.47%

0%

78.57%

聚类分析算法

99.63%

0%

55.36%

Naive Bayes 算法

89.59%

65%

82.14%

可以看出Naive Bayes 算法在预测军师身份正确率最高,达到65%,决策树算法、关联算法、聚类分析算法为0%,神经网络算法、逻辑回归算法为25%;
决策树算法在预测其他身份正确率最高,达到100%;
神经网络算法、Naive Bayes 算法在预测将军身份正确率并列,达到82.14%。

准确性验证示例2:——基于个股数据
数据准备:



挖掘模型依次为:
StockClustering 聚类分析算法
StrockDecisionTrees 决策树算法
StockNeuralNetWork 神经网络算法
StockLogistic 逻辑回归算法

提升图:

依次排名为:
1. 逻辑回归算法(49.73% 0.52)
2. 神经网络算法(49.63% 0.53)
3. 聚类分析算法(48.13% 0.51)
4. 决策树算法(47.28% 0.50)
聚类分析算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,91个错分为跌,23个错分为涨,预测正确率为0%;
跌的443个样本有340个预测正确,103个错分为涨,预测正确率为76.75%;
涨的380个样本有111个预测正确,269个错分为跌,预测正确率为29.21%。

决策树算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,114个错分为跌,预测正确率为0%;
跌的443个样本有443个预测正确,预测正确率为100.00%;
涨的380个样本有0个预测正确,380个错分为跌,预测正确率为0%。

神经网络算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,60个错分为跌,54个错分为涨,预测正确率为0%;
跌的443个样本有277个预测正确,166个错分为涨,预测正确率为62.53%;
涨的380个样本有188个预测正确,192个错分为跌,预测正确率为49.47%。

逻辑回归算法——分类矩阵:

说明:
持平的114个样本有0个预测正确,89个错分为跌,25个错分为涨,预测正确率为0%;
跌的443个样本有380个预测正确,63个错分为涨,预测正确率为85.78%;
涨的380个样本有86个预测正确,294个错分为跌,预测正确率为22.63%。

分类矩阵——预测正确率汇总分析:

 

持平

逻辑回归算法

0%

85.78%

22.63%

神经网络算法

0%

62.53%

49.47%

聚类分析算法

0%

76.75%

29.21%

决策树算法

0%

100.00%

0%

posted @ 2014-12-01 20:13 Bobby0322 阅读(...) 评论(...) 编辑 收藏