2017年12月29日

matlib实现logistic回归算法(序一)

正文内容加载中...

posted @ 2017-12-29 20:07 迈克老狼2012 阅读(15) 评论(0) 编辑

2017年12月26日

matlib实现梯度下降法(序一)

摘要: 数据来源:http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant数据描述:有四个输入特征,这些数据来自电厂,这四个特征和电量输入有关系,现在通过线性回归求它们之间关系的模型参数。- 温度,Temperature (T) in the range 1.81°C and 37.11°C,- 大气压,Ambient Pressu...阅读全文

posted @ 2017-12-26 19:53 迈克老狼2012 阅读(7) 评论(0) 编辑

2017年10月31日

生成学习算法(Generative Learning algorithms)

摘要: 一、引言 前面我们谈论到的算法都是在给定\(x\)的情况下直接对\(p(y|x;\theta)\)进行建模。例如,逻辑回归利用\(h_\theta(x)=g(\theta^T x)\)对\(p(y|x;\theta)\)建模,这类算法称作判别学习算法。 考虑这样一个分类问题,我们根据一些特征来区别动物是大象\((y=1)\)还是狗\((y=0)\)。给定了这样一个训练集,逻辑回归或...阅读全文

posted @ 2017-10-31 20:25 迈克老狼2012 阅读(29) 评论(0) 编辑

2017年10月15日

正态分布(高斯分布)

摘要: http://songshuhui.net/archives/76501http://songshuhui.net/archives/77386 正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。 正态分布是自然科学与行为科学中的定量现...阅读全文

posted @ 2017-10-15 09:36 迈克老狼2012 阅读(73) 评论(0) 编辑

2017年10月14日

常见的概率分布

摘要: 离散分布0-1分布(伯努利分布)它的分布律为:\[P\{X=k\}=p^k(1-p)^{1-k}, k=0,1, (00\]泊松分布记作:\(X \sim \pi(\lambda)\)\[\sum\limits_{k=0}^{\infty}P\{X=k\}=\sum\limits_{k=0}^{\infty}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda...阅读全文

posted @ 2017-10-14 17:24 迈克老狼2012 阅读(187) 评论(0) 编辑

广义线性模型

摘要: 指数分布族前面学习了线性回归和logistic回归。我们知道对于\(P(y|x;\theta)\)若y属于实数,满足高斯分布,得到基于最小二乘法的线性回归,若y取{0,1},满足伯努利分布,得到Logistic回归。这两个算法,其实都是广义线性模型的特例。1) 伯努利分布http://www.cnblogs.com/mikewolf2002/p/7667944.html2) 高斯分布http:/...阅读全文

posted @ 2017-10-14 17:18 迈克老狼2012 阅读(17) 评论(0) 编辑

gamma函数及相关其分布

摘要: 神奇的gamma函数(上)神奇的gamma函数(下)gamma函数的定义及重要性质\[\Gamma(x)=\int_0^{\infty}t^{x-1}e^{-t}dt\]\[\Gamma(x+1) = x \Gamma(x)\]\[\Gamma(n) = (n-1)! \]\[\Gamma(0) = 1\]\[\Gamma({1\over 2}) = 2\int_0^{+\infty}e^{-u^...阅读全文

posted @ 2017-10-14 06:55 迈克老狼2012 阅读(41) 评论(0) 编辑

2017年10月9日

牛顿迭代法

摘要: 牛顿迭代法(Newton's method)又称为牛顿-拉夫逊(拉弗森)方法(Newton-Raphson method),它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。牛顿迭代公式 设r是\(f(x)=0\)的根,选取\(x_0\)作为r的初始近似值,过点\((x_0,f(x_0))\),做曲线\(y=f(x)\)的切线L,L的方程为\(y=f(x_0)+f’...阅读全文

posted @ 2017-10-09 21:04 迈克老狼2012 阅读(22) 评论(0) 编辑

2017年10月8日

局部加权线性回归

摘要: 通常,选择交给学习算法处理特征的方式对算法的工作过程有很大影响。 例如:在前面的例子中,用\(x1\)表示房间大小。通过线性回归,在横轴为房间大小,纵轴为价格的图中,画出拟合曲线。回归的曲线方程为:\(\theta_0+\theta_1x_1\),如下边最左边的图。 若定义特征集合为:\(x1\)表示房子大小,\(x2\)表示房子大小的平方,使用相同的算法,拟合得到一个二...阅读全文

posted @ 2017-10-08 16:20 迈克老狼2012 阅读(38) 评论(0) 编辑

2017年10月7日

损失函数的概率验证及性质

摘要: 从http://www.cnblogs.com/mikewolf2002/p/7560748.html这篇文章中,我们知道损失函数为下面的形式:\[J(\theta_0, \theta_1..., \theta_n) = \frac{1}{2m}\sum\limits_{i=0}^{m}(h_\theta(x_0^{(i)}, x_1^{(i)}, ...,x_n^{(i)})- y^{(i)})...阅读全文

posted @ 2017-10-07 19:41 迈克老狼2012 阅读(19) 评论(0) 编辑

导航

公告