机器学习概念

 

回归与分类的区别：回归预测的是连续变量（数值），分类预测的是离散变量（类别）。

 

训练方法: 二元分类，多元分类，打分，排名，概率预测，树模型，规则模型，线性模型，基于距离的模型，概率模型，梯度下降，多项式回归，正则化线性回归，逻辑回归，支持向量机，决策树，集成学习，随即森林，深度神经网络，卷积神经网络，递归神经网路，强化学习，偏好学习，多任务学习，在线学习。这些模型有的只用于分类，有的只用于回归，也有的既能用于分类还能用于回归。

二元分类(binary classification)，是机器学习里比较早就应用的学习模型，比较著名的应用就是垃圾邮件分类识别。 二元分类一般分为正例(positive)和反例(negative)。其他还有医疗诊断和信用卡欺诈识别。分出垃圾邮件和特殊疾病的类都是正例类别(positive class)。一个简单的分类方法就是训练集上，做出一个特征树，把每个特征树的叶子上各个类别的数量标出来，选择大多数的类别，作为这个叶子的类别。这样特征树就变成了决策树。

 

 

线性回归通过大量的训练出一个与数据拟合效果最好的模型，实质就是求解出每个特征自变量的权值θ。

 

 

熵反映的是一个系统的混乱程度，一个系统越混乱，其熵就越大；越是整齐，熵就越小。熵增加原理指的是一个孤立系统内的自发过程，都是从朝越来越混乱的方向发展，意思是向熵增加的方向发展。