机器学习入门基础大纲

为了系统性的介绍机器学习入门，本文特意列了一个提纲。接下来的一些文章我会按照下面的提纲一一介绍里面的内容，有的概念会点到为止，有的概念会说的比较多。介绍中有什么不妥或者不对的地方，还望大家指出。

数学基础

微积分

极限，e，导数，微分，积分

偏导数，方向导数，梯度

极值，多元函数极值，多元函数泰勒展开

无约束优化，约束优化

拉格朗日乘子，对偶问题

 

概率

随机变量，概率密度函数，分布函数

条件概率，全概率公式，贝叶斯公式

期望，方差

大数定理，中心极限定理

协方差，相关系数

常见概率分布，泊松分布

指数族分布，多元高斯分布

参数估计，矩估计，极大似然估计

 

线性代数

矩阵，行列式，初等变换

线性相关，线性无关

秩，特征值，特征向量

正交向量、正交矩阵

矩阵分解

 

机器学习基本概念

输入空间，特征空间和输出空间

联合概率分布，假设空间

三要素：方法=模型+策略+算法

 

感知机Perceptron

感知机模型、学习策略、训练方法

0-1损失函数

感知机的几何解释

感知机证明

pocket perceptron

 

线性回归

模型、损失函数、训练方法、概率解释

  

逻辑回归

模型、损失函数、训练方法、概率解释

逻辑回归的形式，推导和训练，逻辑斯蒂损失

拟牛顿法，LBFGS

  

机器学习诊断和调试

训练误差、测试误差、欠拟合、过拟合

损失函数、风险函数、经验风险、结构风险

正规化、交叉验证

 

推荐系统

协同过滤（User based，Item based，Slope one）

Model-based

SVD++

Aprior算法

 

树模型和boost

熵的定义和应用，信息增益

决策树、ID3、C4.5和CART

Adaboost，指数损失函数

梯度提升树 GBDT

随机森林 Random Forest

 

支持向量机SVM

硬间隔最大化，函数间隔，几何间隔

软间隔最大化

对偶算法

合页损失函数

核函数、核技巧

SMO算法

 

最大熵模型

模型定义、约束条件和推导

重新理解逻辑回归

 

神经网络

模型的定义和训练

BPA算法

 

无监督学习

K-Means和高斯混合模型GMM

EM算法，推导、解释和理解

Topic Model基础，svd、lsa、plsa、lda

 

总结

损失函数比较

模型的比较和选择

解决实际问题的一般步骤