机器学习 Machine Learning

机器学习 | Machine Learning

前言 | Preface

都怪可恨的 NOAI

这里有两个很好的学习平台：

动手学深度学习

动手学机器学习（这个建议买书，线上版本没有更新完）

规定与记号 | Conventions and Notations

会不会太多了

记号 | Notation

• \(\nabla_{\boldsymbol x} f(\boldsymbol x)\) 将函数 \(f\) 对 \(\boldsymbol x\) 求梯度，\(\nabla = (\frac{\partial}{\partial x_1},\ldots,\frac{\partial}{\partial x_n})\)，读作 nabla [ˈnæblə]/[del]

定义 | Definition

• 超参数 hyperparameter 定义在全局的参数，这类参数不能由机器自动调整，需要手动调

因为东西太多了，所以放后面讲

入门 | Start

罪恶的起始

什么是学习？ | What’s ‘Learning’

学习是系统经过经验提升性能的过程。 ——Herbert Simon

学习是系统基于数据来提升既定指标分数的过程

机器学习 Machine Learning

机器通过经验数据，对任务目标做出优化的自动化过程

强化学习 Reinforcement Learning

支持决策任务的机器学习技术

什么是机器学习？ | So,what’s ‘Machine Learning’

抛了这么多定义，一定懵了

再来一个然后一起解释

机器学习是一门研究算法的学科，这些算法能够通过非显式编程 Non-explicit Programming的形式利用经验数据来提升某个任务的性能指标

然后我们抓几个关键词来理解：

• 提升：机器学习的主要目标就是将某一项优化到我们设定的指标，就像是我们学习的目标就是提升自己一样的
• 任务：就是学习任务，是提升的大框架
• 性能指标：衡量程序的，就是成绩
• 经验数据：就是这个程序所学习到的知识

所以，用自己的话来说：机器学习就是通过不断学习知识来带到既定的目标成绩的过程，而这个过程是由一个或多个算法确定的

所以我们就可以顺理成章利用数学语言来写出机器学习的过程：

\[\boxed {f^* = \arg \min_{f \in \mathcal F}{ T(\mathcal D,f) = \text{ML}(\mathcal D)}} \tag{Definition 1.1} \]

\(f\)：机器学习预测模型，\(T(\mathcal D, f)\)：性能指标函数

\(\text{ML}(\mathcal D)\)：机器学习可以看成一个输入数据集、输出解决问题任务的算法

监督学习 | Supervised Learning

数据集中包含有标签 \(y_i\)，相当于作业的答案

数据实例 \((\boldsymbol x, y)\)，由特征与标签组成。

模型的目的是根据特征预测标签

性能指标定义为损失函数的负数

\[\boxed{f^* = \arg \min_{f} \frac{1}{|\mathcal D|} \sum\limits_{(\boldsymbol x, y)\in \mathcal D}L(y, f(\boldsymbol x))} \tag{Definition 1.2} \]

无监督学习 | Unsupervised Learning

自己学习找到规律

数据并无标签的概念，或者说所有的标签同等重要

用概率分布模型 \(p(\boldsymbol x)\) 来建模数据分布

将整个模型的对数似然 Log-likelihood 作为最大化目标

\[\boxed{p^* = \arg \min_{p} \frac{1}{|\mathcal D|} \sum_{\boldsymbol x \in \mathcal D} \log p(\boldsymbol x)} \tag{Definition 1.3} \]

泛化能力 | Generalization Ability

用来描述一个智能模型在没见过的数据上的预测能力

用泛化误差量化一个模型的泛化能力，定义为模型在给定数据集上分布下的损失函数期望值：

\[\boxed{R(f) := \int_{x,y} p(x,y)L(y,f(x)) \ \text d (x,y)} \tag{Definition 1.4} \]

数学

由于放在博客里可能会影响观感，所以不放进来

这是需要的数学内容：

• 基础的微积分知识（学到偏导最好）
• 线性代数（向量，张量，矩阵，基础的矩阵求梯度）
• 基本概率论（这个笔者也在学，不用慌，因为要到很后面才会有高深的概率论知识，可以先搁着）

如果后面有时间了，会整理一篇有关于线性代数（最重要）的博客

参数模型 | Parametric Model

顾名思义，就是每一个模型可以由唯一的参数确定

线性回归 | Linear Regression