摘要：一、对于回归问题，基本目标是建模条件概率分布p(t|x) 利用最大似然的方式:negative logarithm of the likelihood 这个函数可以作为优化目标，其中的第二项与参数无关，在优化的时候不用计算在内。实际中所用到的各种不同的目标函数不过是对于的形式做了具体的假设。 1.sum of squares error 这里假设输出矢量t的维度为K，则： ... 阅读全文

摘要：基本想法：既不想像参数估计（最大似然，贝叶斯学习）那样需要假定特定的分布函数形式，又不想像非参数估计那样在最终生成的模型中带着所有的训练样本。 注意理解这个式子:p(j)是样本概率由第j个组分得到的概率，式（1）中也就是对联合分布求和得到了边缘分布。P(j)的取值需要满足概率函数的约束： 同理，条... 阅读全文

摘要：在进行参数估计的时候， 常用到最大似然估计，其形式很简单，对于含有N个样本的训练数据集DN，假设样本独立同分布，分布参数为，则似然概率定义如下： 简单说就是参数为时训练集出现的概率，然后我们根据不同的分布形式求导，得到参数的最有值使得似然概率最大。 贝叶斯学习过程不同之处在于，一开始并不试图去求解一个最优的参数值，而是假设参数本身符合某个分布，即先验概率p()（例如高斯分布，只要知道均... 阅读全文