bH1pJ - 博客园

摘要： Bayesian Estimation如何给出模型W的分布？坑 W是一个列向量；现在的理解： 1、Bayesian Estimation和（Maxium Likehood Estimation、Maxium a Posteri Estimation）... 阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(24) 评论(0) 推荐(0)

摘要：或者说，不在上述4大步骤中？又或者说，是上述4大步骤的统一？如何理解? 坑先写一种理解： 1、上述三个名词MLE、MAP和Bayesian是概率模型领域的三大基本思想。 2、和线性模型不同；（线性模型如W^T*X+b = 0，SVM就是一种最简单的线... 阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(7) 评论(0) 推荐(0)

摘要： 1、定义模型（ω或者θ） 2、定义评价模型的loss function（J(ω)或者J(θ)）； 3、采用优化的方法找到最合适的参数ω = arg min J(ω)； 4、解决过拟合问题： -> 对模型施加正则项：||ω|| 一范数，使得模型中大部分的参数都为... 阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(15) 评论(0) 推荐(0)

摘要： MLE：调整模型的参数，是的所有样本出现的可能性最大。（默认前提，所有模型等概率）； MAP：调整模型的参数，是的所有样本出现的可能性最大。但是每个模型的出现的概率是p(\theta)。换句话说，就是已知样本的前提下，模型参数最可能是什么？p(\theat|... 阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(25) 评论(0) 推荐(0)

摘要： https://www.cnblogs.com/little-YTMM/p/5399532.html 在他的介绍中：线性回归、线性分类、逻辑回归、SVM、深度学习等模型和贝叶斯模型是等价的非常好的一个切入点，解决了我多年的困惑。 ... 阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(8) 评论(0) 推荐(0)

摘要：坑网上所有的教程都在讲，贝叶斯定理的基本思想。但是没有讲贝叶斯定理跟我心中样本X之间的联系。我知道后验概率 = 先验概率 * 调整因子。每当来了一个样本，我就调整一下后验概率。 ------------------------- 贝叶斯... 阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(25) 评论(0) 推荐(0)

摘要： https://jingyan.baidu.com/article/4d58d541cb71a5dcd4e9c0cf.html 1、先把绘图标签页调出来； 2、更改颜色阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(26) 评论(0) 推荐(0)

摘要：坑。样本的协方差矩阵，代表各个维度的协方差，协方差刻画的是维度间的相关性。如何计算一组样本的协方差？坑 ∑ = 1/n（X）（X^T）阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(67) 评论(0) 推荐(0)

摘要：坑阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(20) 评论(0) 推荐(0)

摘要：坑 1、协方差矩阵刻画了，维度和维度之间的相关性； 2、如果手上的样本X，经过了线性变换成为Y = wX（可以是直线投影（降维）、缩放（维度不变）、升维度）；原始样本的协方差矩阵为∑=1/n(XX^T)，变换后的样本协方差为 (w^T)∑w，如何推导，请看下... 阅读全文

posted @ 2022-03-20 21:36 bH1pJ 阅读(31) 评论(0) 推荐(0)