学习笔记-002

数据挖掘知识清单，包含数据挖掘的基本流程、十大算法和数学原理；
数据挖掘的基本流程：
数据挖掘的过程可分为如下六个步骤：
1.商业理解：数据挖掘的目的是更好的帮助业务，所以需要从商业的角度去理解项目需求，并在此基础上定义数据挖掘的目标；
2.数据理解：尝试收集部分数据，并进行数据探索，包括数据描述、数据质量验证等，有助于对所收集的数据有初步的认知；
3.数据准备：开始收集数据，并对数据进行清洗、集成等操作，完成数据挖掘前的准备工作。
4.模型建立：选择和应用各种数据挖掘模型，并进行优化，以得到更好的分类结果。
5.模型评估：对模型进行评价，并检查构建模型的各个步骤，确认模型能够实现预定的商业目标。
6.上线发布：模型的作用是在数据中找到知识，获得的知识需要转化成用户可以使用的方式，呈现的形式可以是一份报告，也可以是实现一个比较复杂的、可重复的数据挖掘过程。如果数据挖掘结果是日常运营的一部分，那么后续的监控和维护就会变得很重要。

数据挖掘的十大算法
在众多的数据挖掘模型中，IDCM（the IEEE International Conference on Data Mining）评选出了十大经典算法，按照不同的目的，可以将这些算法分成四大类：
一、分类算法：C4.5、朴素贝叶斯（Naive Bayes）、SVM、KNN、AdaBoost、CART
二、聚类算法：K-Means、EM
三、关联分析：Apriori
四、链接分析：PageRank

1. C4.5 是决策树的算法，创造性的在决策树构造过程中就进行了剪枝，并且可以处理连续的属性，也可以对不完整的数据进行处理，是决策树分类中具有里程碑式意义的算法；
2. 朴素贝叶斯（Naive Bayes） 基于概率论的原理，想要对给出的未知事物进行分类，就需要求解在这个未知事物出现的条件下各个类别出现的概率，那个最大，就认为这个未知事物属于那个类别；
3. SVM 即支持向量机（Support Vector Machine），SVM在训练中建立一个超平面的分类模型。
4. KNN 即最近邻算法（K-Nearest Neighbor），所谓K近邻，即每个样本都可以用它最近的K个邻居来代表，如果一个样本，它的K个最近的邻居都属于类别A，那么可以认为这个样本也属于类别A。
5. AdaBoost 在训练中建立了一个联合分类模型，Boost代表提升的意思，因此AdaBoost是构建分类器的提升算法，它可以让多个弱分类器组成一个强的分类器，所以AdaBoost也是一个常用的分类算法。
6. CART 代表分类和回归树（Classification and Regression Trees），它构建两棵树，一颗分类树，一颗回归树，与C4.5一样是一个决策树学习方法。
7. Apriori 是一种挖掘关联规则（association rules）的算法，通过挖掘频繁项集（frequent item sets）来揭示物品之间的关联关系，被管饭应用到商业挖掘和网络安全等领域中。频繁项集是指经常出现在一起的物品的集合，关联规则暗示着两种物品之间可能存在很强的关系。
8. K-Means 是一个聚类算法，如果想把样本分成K类，假设每个类别里面，都有一个“中心点”或者意见领袖，它是这个类别的核心，现在有一个新点要归类，此时只需计算这个新点与K个中心点的距离，距离哪个中心点近，就归属于哪个类别；
9. EM 即最大期望算法，是求参数的最大似然估计的一种方法。原理如下，假设想要评估参数A和参数B，在开始状态下两者都是未知的，并且知道了A的信息就可以得到B的信息，同样知道B的信息也就得到了A的信息。可以考虑首先赋予A某个初值，以此得到B的估值，然后从B的估值出发，重新估计A的值，循环这个过程知道收敛为止。EM算法经常用于聚类和机器学习领域中。
10. PageRank 起源于论文影响力的计算方式，如果一篇论文被引用的次数越多，就代表这篇论文的影响力越强。PageRank被Google创造性的应用在网页权重计算中，即当一个网页链出的页面越多，说明这个页面的“参考文献”越多，当这个网页被链入的频率越高，说明这个页面被引用的次数越高，基于这个原理，就可以得到网站的权重划分。
    数据挖掘的数学原理
11. 概率论与数理统计，很多算法的本质都与概率论相关，概率论与数理统计是数据挖掘的重要数据基础，经常使用的有条件概率、独立性的概念、随机变量、多维随机变量概念；
12. 线性代数，向量和矩阵是线性代数中的重要知识点，在数据挖掘中被广泛应用，比如经常会把对象抽象为矩阵的表示，一幅图片就可以抽象成为一个矩阵，也经常计算特征值和特征向量，用特征向量来近似代表物体的特征，这是大数据降维的基本思路。基于矩阵的各种运算与成熟理论，可以用于解决很多实际问题，例如PCA方法、SVD方法，以及MF、NMF方法等在数据挖掘中都有广泛应用。
13. 图论，社交网络中人与人的关系，可以用图论中的两个节点来进行连接，节点的度可以理解为一个人的朋友数量。图论对于网络结构的分析非常有效，同时图论也在关系挖掘和图像分割中有重要作用。
14. 最优化方法，相当于机器学习中自我学习的过程，当机器知道了目标，训练后与结果存在偏差就需要迭代调整，那么最优化就是这个调整的过程，一般来说，这个学习和迭代的过程是漫长且随机的，最优化方法的提出就是用更短的时间得到收敛，取得更好的效果。