【机器学习】第一节 - 基本概念

目录

• 一、基本术语
• 二、假设空间
  • 1.归纳和演绎
  • 2.版本空间
• 三、归纳偏好
  • 概念
  • 奥卡姆剃刀（简单优先）

一、基本术语

• 学习（训练）：从数据中学得模型的过程
• 测试：学得模型后，使用其样本进行预测的过程
• 假设：学得模型对应的关于数据的某种潜在规律
• 分类：输出结果是离散值
• 回归：输出结果是连续值
• 泛化能力：学得模型适用于新样本的能力
• 独立同分布：样本空间的全体样本都服从一个未知的分布，且相互独立

二、假设空间

1.归纳和演绎

归纳：
从特殊到一般的“泛化”：从样例（训练样本）中学习。
如：

演绎：
从一般到特殊的“特化”：从数学公理推导出定理。

2.版本空间

三、归纳偏好

概念

模型会存在偏好
如：

奥卡姆剃刀（简单优先）

即无情地剔除所有累赘