机器学习概述3-机器学习工作流程

1 什么是机器学习

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

2 机器学习工作流程

• 1.获取数据
• 2.数据基本处理
• 3.特征工程
• 4.机器学习(模型训练)
• 5.模型评估
  • 结果达到要求，上线服务
  • 没有达到要求，重新上面步骤

2.1 数据集

在数据集中一般：

• 一行数据我们称为一个样本
• 一列数据我们成为一个特征
• 有些数据有目标值（标签值），有些数据没有目标值

数据类型：

• 数据类型一：特征值+目标值（目标值是连续的和离散的）
• 数据类型二：只有特征值，没有目标值

数据分割：

• 机器学习一般的数据集会划分为两个部分：
  • 训练数据：用于训练，构建模型
  • 测试数据：在模型检验时使用，用于评估模型是否有效
• 划分比例：
  • 训练集：70% 80% 75%
  • 测试集：30% 20% 25%

2.2 数据基本处理

​ 即对数据进行缺失值、去除异常值等处理

2.3 特征工程

• 特征工程包含内容

  • 特征提取：将任意数据（如文本或图像）转换为可用于机器学习的数字特征
    

  • 特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
    

  • 特征降维：指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程