机器学习基础--基本方法和模型

一、 机器学习方法一般总结：

1. 生成式和判别式方法
   数据生成概率和后验概率

2. 统计概率和朴素贝叶斯方法
   统计概率方法: 以模型[q(\overrightarrow{x},y;\theta )]为例，从训练样本[D=\left{ (\overrightarrow{x},y) \right}_{i=1}^{n}]中学习模式[\theta ]，一般采用最大似然进行估计。
   朴素贝叶斯方法:将模式[\theta ]作为概率变量，对其先验概率[p(\theta )]加以考虑，计算与训练集[D]相对应的后验概率[p(\theta |D)]
   [p(\theta |D)=\frac{p(D|\theta )*p(\theta )}{p(D)}]
   二、 机器学习模型一般总结

3. 线性模型
   基本模型：
   [{{f}{\theta }}(x)=\sum\limits^{b}{{{\theta }{j}}{{\phi }{j}}(x)}]
   参数向量：[{{{\theta }{1}},...,{{\theta }{b}}}]
   基本模型：[{{{\phi }{1}}(x),...,{{\phi }{b}}(x)}]
   诸如多项式、三角多项式可以归结到此处

4. 非线性模型
   该模型与训练样本相关，使用称为核函数的二元函数[K(\cdot ,\cdot )]，以[K(x,{{x}{j}})^{n}]的线性结合方式加以定义的。
   [{{f}{\theta }}(x)=\sum\limits^{n}{{{\theta }{j}}K(x,{{x}{j}})}]
   一般而言，核函数涉及到带宽和均值两个参数，常见的定义为：
   [K(x,c)={{e}^{{-\frac{{2}}}}{2{{h}}{2}}}}}]
   核模型特征：

1. 维度由[x]决定，参数的个数不依赖于输入变量的维度，只由训练样本数决定；
2. 当输入样本不是向量时，很容易扩展。输入样本只存在于核函数中，只需要对两个输入样本相对应的核函数加以定义，而不需要关心样本是什么。目前有人提出输入样本x是字符串、决策树或图表等的核函数。

3. 层级模型
   典型的神经网络模型。