0_数学基础 - 随笔分类 - _1024

数学基础01-最优化(梯度下降法、牛顿法、拟牛顿法等)

摘要：1、最优化问题分类按照约束条件分，可以分为：无约束优化问题、有不等式优化问题、有不等式优化问题。按照是否线性，可以分为线性优化问题(目标函数和约束均线性)、非线性优化问题(目标函数和约束中任意部分非线性)。按是否凸，可以分为凸优化问题、非凸优化问题。对于有约束优化问题，常见的做法是转换到无约阅读全文

posted @ 2017-10-16 22:08 _1024 阅读(2552) 评论(0) 推荐(1)

数学基础02-矩阵论

摘要：这个Topic有点儿难，不知道什么时候可以写完协方差和协方差矩阵协方差矩阵和PCA PCA和SVD 阅读全文

posted @ 2017-08-27 17:35 _1024 阅读(251) 评论(0) 推荐(0)

数学基础03-信息论基础(信息熵、条件熵、互信息/信息增益、联合熵、相对熵/KL散度、交叉熵)

摘要：机器学习中，信息论中的各种熵在多次出现(最大熵模型、CRF、广义线性模型中以及分类问题中损失中的交叉熵，t-SNE、GAN中使用的KL散度等)，这里做一个简单总结。 1、信息量定义单个事件的不确定性的大小。数学形式 $log\frac{1}{p(x)}=-logp(x)$ 特点不确定性越大，阅读全文

posted @ 2016-12-10 22:54 _1024 阅读(929) 评论(0) 推荐(0)

随笔分类 - 0_数学基础