加拿大小哥哥

摘要： 1.往往假设特征之间独立同分布，那么似然函数往往是连城形式，直接求骗到不好搞，根据log可以把连乘变为连加。 2.另外概率值是小数，多个小数相乘容易赵成浮点数下溢，去log变为连加可以避免这个问题。若果原始似然函数中没有连加和，那么去对术后没有log(a+b)的形式，此时可以用GD，否则用EM，村阅读全文

posted @ 2016-06-20 11:27 加拿大小哥哥阅读(3767) 评论(0) 推荐(0)

2016年6月17日

浅谈线性、非线性和广义线性回归模型

摘要：一、理论 1.1 多重共线性所谓多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。一般来说，由于经济数据的限制使得模型设计不当，导致设计矩阵中解释变量间存在普遍的相关关系。完全共线性的情况并不多见，一阅读全文

posted @ 2016-06-17 09:52 加拿大小哥哥阅读(17642) 评论(0) 推荐(0)

2016年6月16日

Hession矩阵与牛顿迭代法

摘要： 1、求解方程。并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x) = f(x0)+(x－x0)f'(x0) 求解方程f(x)=0，即f(x0)+(x-x0)*f'(x0)=0，求解x = x1=x0 阅读全文

posted @ 2016-06-16 11:46 加拿大小哥哥阅读(2732) 评论(0) 推荐(0)

再谈最大似然估计与最小二乘

摘要：最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加阅读全文

posted @ 2016-06-16 11:14 加拿大小哥哥阅读(788) 评论(2) 推荐(1)

2016年6月13日

浅谈Logistic回归及过拟合

摘要：判断学习速率是否合适？每步都下降即可。这篇先不整理吧... 这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学习算法一般是这样一个步骤： 1）对于一个问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等阅读全文

posted @ 2016-06-13 21:45 加拿大小哥哥阅读(17934) 评论(0) 推荐(0)

公告