2021年8月8日
判别式模型和生成式模型区别——生成式是直接对数据本身的概率分布建模，判别式就是学习一个分类边界将不同类别区分开，前者是单刀直入、后者是曲线救国
摘要： 在机器学习中，对于有监督学习可以将其分为两类模型：判别式模型和生成式模型。简单地说，判别式模型是针对条件分布建模，而生成式模型则针对联合分布进行建模。 1. 基本概念 假设我们有训练数据(X,Y)，X是属性集合，Y是类别标记。这时来了一个新的样本，我们想要预测它的类别。 我们最终的目的是求得最大的条 阅读全文
posted @ 2021-08-08 22:39 bonelee 阅读(2019) 评论(0) 推荐(0)
最大熵模型原理——选择符合所有事实，在其他方面尽可能均匀分布（熵最大）的模型，其实思想很简单，只是数学推导蛋疼
摘要： 1.熵与最大熵原理 熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。均匀分布是“最不确定”的分布 假设离散随机变量X的概率分布为P(x)，则其熵为： 联合熵和条件熵 两个随机变量的X，Y的联合分布，可以形成联合熵，用H(X,Y)表示 条件熵H(X|Y) = H(X 阅读全文
posted @ 2021-08-08 21:56 bonelee 阅读(1016) 评论(0) 推荐(0)
均匀分布的熵最大——熵增定理，意味着大家都会趋同，成为乌合之众，最终无差异化。。。在企业管理中这是一件恐怖的事情
摘要： 什么是熵(Entropy) 简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。 阅读全文
posted @ 2021-08-08 21:25 bonelee 阅读(2598) 评论(0) 推荐(0)