数据挖掘技术

 

数据挖掘技术

数据挖掘技术概述

数据挖掘的定义

数据挖掘是从大量的，不完全的， 有噪声的，模糊的，随机的实际应用数据中，提取隐含在其中的， 人们事先不知道的但又是潜在有用的信息和知识的过程。包括下面几层含义：

1.         数据源必须是真实的，大量的，有噪声的；

2.         发现的是用户感兴趣的知识；

3.         发现的知识要可接受，可理解，可运用；

数据挖掘的功能

数据挖掘通过预测未来趋势及行为，做出前瞻的，基于知识的决策。数据挖掘的目标是从数据库中发隐含的，有意义的知识，主要有下面5类功能。

自动预测趋势和行为

数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。

关联分析

数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。

聚类

数据库中的记录可被划分为一第列有意义的子集，即聚类。聚类增强了人们对客观现实的认识。是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。

概念描述

概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。

概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同对象之间的区别。生成区别性描述的方法有决策树方法，遗传算法等。

偏差检测

数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例，观测结果与模型预测值的偏差、量值随时间的变化等。