人工智能机器学习有关-总（一）

人工智能机器学习

1、机器学习工作流程

• 1.定义
  • 数据
  • 自动分析获得模型
  • 预测
  • 从数据中自动分析获得模型，并利用模型对未知数据进行预测
• 2.工作流程
  • 获取数据
  • 数据基本处理
  • 特征工程
  • 机器学习（模型训练）
  • 模型评估
• 3.获取到的数据集介绍
  • 专有名词
    • 样本
    • 特征
    • 目标值（标签值）
    • 特征值
  • 数据类型构成
    • 类型一：特征值+目标值
      目标值分为是离散还是连续
    • 类型二：只有特征值，没有目标值
  • 数据划分
    • 训练数据（训练集）--构建模型
      0.7----0.8之间
    • 测试数据（测试集）--模型评估
      0.2---0.3
  • 4.数据基本处理
    对数据进行缺失值、去除异常值等处理
  • 5.特征工程

2、机器学习算法分类

• 监督学习--有特征值，有目标值
  • 目标值连续--回归
  • 目标值离散--分类
• 无监督学习--仅有特征值
• 半监督学习
  有特征值，但是一部分数据有目标值，一部分没有
• 强化学习
  动态过程，上一步数据的输出是下一步数据的输入
  四要素：
  • agent
  • action
  • environment
  • Reward
• 监督学习和强化学习的对比
  • 反馈映射：
    • 监督学习：输入到输出一个映射，监督式学习的输出的是之间的关系，可以高速算法什么样的输入对应着什么样的输出。
    • 强化学习：输入到输出的一个映射，强化学习输出的是给机器的反馈，即用来判断这个行为是好是坏。

3、模型评估

• 分类模型评估
  • 准确率：预测正确的数占样本总数的比例
  • 精确率：正确预测为正占全部预测为正的比例
  • 召回率：正确预测为正占全部正样本的比例
  • F1-score：主要用于评估模型的稳健性
  • AUC指标：主要用于评估样本不均衡的情况
• 回归模型评估
  • 均方根误差（RMSE）
  • 相对平方误差（RSE）
  • 平均绝对误差（MAE）
  • 相对绝对误差（RAM）
  • 决定系数
• 拟合：模型评估用于评价训练好的模型的表现效果，其表现效果大致可以分为两类：过拟合和欠拟合
  • 欠拟合：因为机器学习到的特征太少，导致区分标准太粗糙，不能准确识别出。（学的太少，分不出来）
  • 过拟合：所建的机器学习的模型或者深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。（学的太多，分不出来）

4、如何使用jupyter notebook

• 在anaconda里面创建环境，例如Machine Learning

• 然后下载：

  • pip install matplotlib==2.2.2
  • pip install numpy==1.14.2
  • pip install pandas==0.20.3
  • pip install tables==3.4.4（本来是3.4.2，但是下载出现错误，没有这个版本号，就下载的其他版本的）
  • pip install jupyter==1.0.0

• 下载好之后，然后在激活环境 conda activate Machine Learning，输入jupyter notebook即可

• jupyter notebook的快捷键的使用

  • shift+enter，直接输出，然后跳转到下一行
  • ctrl+enter，在本行输出
  • 选中一行，按住esc，然后按b，直接增加一行
  • 删掉某一行，选中该行，然后按esc，再按dd
  • 做标记：选中某一行，按esc，然后按m