机器学习知识点总结

1、先验概率：根据以往经验分析得到的概率

2、后验概率：基于新的信息，修正先验概率后获得的更接近实际情况的概率估计

3、最大似然估计：寻找能够以较高概率产生观察数据的系统参数

4、目标函数：用设计变量来表示所追求的目标形式（最优化经验风险和结构风险）

5、代价函数：整个训练集上所有样本误差的平均

6、损失函数：计算的是一个样本的误差（损失函数和代价函数是同一个东西）

7、风险函数：损失函数的期望值

8、结构风险：函数类型（次方项），正则化引入的原因，模型复杂度问题

9、经验风险：损失函数中的值，代价函数

10、判别模型：条件模型（条件概率模型），目标函数对应分类的准确率

11、生成模型：联合概率密度分布（增加了先验概率）