2-数据挖掘的学习路径

一、数据挖掘知识清单

 

 

 

 

① - 数据挖掘的过程可以分成以下 6 个步骤。

1、商业理解： 挖掘不是目的，帮助业务才是目的，从商业的角度理解项目需求，再开始定义挖掘目的​

2、数据理解：收集、探索数据，包含数据描述、数据质量验证等

3、数据准备：收集数据，并对数据进行清洗、数据集成等操作，完成数据挖掘前的准备工作。

4、模型建立：选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果。

5、模型评估：对模型进行评价，并检查构建模型的每个步骤，确认模型是否实现了预定的商业目标。

6、上线发布：可用是报告、可复用的数据挖掘过程等，数据挖掘结果如果是日常运营的一部分，那么后续监控维护就很重要

 

② - 数据挖掘的十大算法

为了进行数据挖掘任务，数据科学家们提出了各种模型，在众多的数据挖掘模型中，国际权威的学术组织 ICDM （the IEEE International Conference on Data Mining）评选出了十大经典的算法。

1、分类算法：C4.5，朴素贝叶斯（Naive Bayes），SVM，KNN，Adaboost，CART

• C4.5/决策树算法（十大算法之首，在决策树构造过程中进行剪枝，且可以处理连续属性，也能对不完整的数据进行处理）
• 朴素贝叶斯/Naive Bayes（基于概率论的原理，主要思想：对于给出未知物体想要进行分类，就需要求解在这个未知物体出现的条件下各个类别出现的概率，哪个最大就认为这个未知物体属于哪个分类）
• SVM/支持向量机（Support Vector Machine）（在训练中建立了一个超平面的分类模型。后续会介绍）
• KNN/K 最临近算法（K-Nearest Neighbor）（K 临近就是每个样本都可以用它最接近的 K 个邻居来代表，如一个样本，它的 K 个最接近的邻居都属于分类 A，那么这个样本也属于 A）
• Adaboost（在训练中建立了一个联合的分类模型，boost 是提升的意思，Adaboost 是个构建分类器的提升算法，它可以让多个弱分类器组成一个强分类器，常用算法）
• CART（代表分类和回归树，它构建了两棵树：一颗是分类树，一颗是回归树，和 C4.5 一样，是决策树学习方法）

 

2、聚类算法：K-Means，EM

• K-Means（我想把物体划分成 K 类，假设每个类别里面，都有个‘中心点’即意见领袖，它是这个类别的核心。现在我有一个新点要归类，这时候就只要计算这个新点与 K 个中心点的距离，距离哪个中心点近，就变成哪个类别）
  
• EM/最大期望算法（是求参数的最大似然估计，原理：假设我们想要评估参数 A 和参数 B，在开始状态下二者都是未知的，并且知道了 A 的信息就可以知道 B 的信息，反过来知道了 B 也就知道了 A。可以考虑首先赋予 A 某个初值，以此得到 B 的估值，然后从 B 的估值出发，重新计算 A 的取值，这个过程一直持续到收敛为止，常用于聚类和机器学习中。）

3、关联分析：Apriori

• Apriori（是一种挖掘关联规则/association rules 的算法，通过挖掘频繁项集/frequent item sets 来揭示物品之间的关联关系，被广泛应用到商业挖掘和网络安全中。频繁项集是指经常出现在一起的物品的集合，关联规则暗示着两种物品之间可能存在很强的关系。）
  

4、连接分析：PageRank

• PageRank（被链接次数越多，权重越高）

 

③ - 数据挖掘的数学原理、本质

了解概率论和数理统计，掌握算法的本质；

搞懂线性代数，理解矩阵和向量运作在数据挖掘中的价值；

需要有最优化方法的概念，就对迭代收敛理解透彻。

所以说，想要更深刻地理解数据挖掘的方法，就必须解它后背的数学原理。

 

 

1. 概率论与数理统计

在数据挖掘里使用到概率论的地方比较多。比如条件概率、独立性的概念，以及随机变量、多维随机变量的概念。

很多算法的本质都与概率论相关，所以说概率论与数理统计是数据挖掘的重要数学基础。

2. 线性代数

向量和矩阵是线性代数中的重要知识点，它被广泛应用到数据挖掘中。

比如我们经常会把对象抽象为矩阵的表示，一幅图像就可以抽象出来是一个矩阵；

我们也经常计算特征值和特征向量，用特征向量来近似代表物体的特征。

以上两个是大数据降维的基本思路。基于矩阵的各种运算，以及基于矩阵的理论成熟，可以帮我们解决很多实际问题，比如 PCA 方法、SVD 方法，以及 MF、NMF 方法等在数据挖掘中都有广泛的应用。

3. 图论

社交网络的兴起，让图论的应用也越来越广。人与人的关系，可以用图论上的两个节点来进行连接，节点的度可以理解为一个人的朋友数。我们都听说过人脉的六度理论，在 Facebook 上被证明平均一个人与另一个人的连接，只需要 3.57 个人。当然图论对于网络结构的分析非常有效，同时图论也在关系挖掘和图像分割中有重要的作用。

4. 最优化方法

最优化方法相当于机器学习中自我学习的过程，当机器知道了目标，训练后与结果存在偏差就需要迭代调整，那么最优化就是这个调整的过程。一般来说，这个学习和迭代的过程是漫长、随机的。最优化方法的提出就是用更短的时间得到收敛，取得更好的效果。