数据挖掘怎么做

5w1h思想

1.业务理解

理解你的数据挖掘要解决什么业务问题

必须从商业或者从业者的角度去了解项目的要求和最终目的，去分析整个问题涉及的资源、局限、设想，甚至是风险、意外等情况，从业务来到业务中去

 

2.数据理解

重点：在业务理解的基础上，对掌握的数据要有一个清晰明确的认识（了解有哪些数据，那些可能对目标有影响的数据，哪些是冗余数据、哪些是存在不足或者缺失）

注意：数据理解和业务理解相辅相成

 

3.数据准备

比如财务里面销售数据、采购数据、收入支出数据

数据准备是基于原始数据，去构建数据挖掘模型所需要的数据集的所有工作，包括数据收集、数据清洗、数据补全、数据整合、数据转换、特征提取等一系列动作

 

4.构建模型

或者是训练模型，重点解决技术方面的问题

选用各种各样的算法模型来处理数据，让模型学习数据的规律，并产出模型

如果有多重技术要使用，在这一任务中，对于每一个要使用的技术要分别对待

比如SVM算法只能输入数值型的数据

 

5.评估模型

模型的效果如何，能否满足业务的需求

需要使用各种评估手段、评估指标甚至是让业务人员一起参与进来，彻底地评估模型

 

6.模型部署

解决一些实际问题

比如长期运行的模型是否有足够的机器来支撑，数据量以及并发程度会不会造成部署的服务出现问题