摘要：
softmax回归是由多项分布推导回来的一种回归，主要的做用就是能进行二种以上的分类，它也是广义线性模型中的一种，不过它的特点是它的T(y)和η都是向量值。 p(y;Φ)=Φ11{y=1}Φ21{y=2}...Φk1{y=k};设(T(y))i=1{y=i} =Φ11{y=1}Φ21{y=2}...Φk1-Σ1{y=i};i=1....k-1 =Φ1(T(y))1Φ2(T(y))2...Φk1-Σ(T(y))i =exp((T(y))1log(Φ1)+(T(y))2log(Φ2)+...(1-Σ(T(y))i)log(Φk)) =exp((T(y))... 阅读全文
摘要：
logistic回归： logistic回归一般是用来解决二元分类问题，它是从贝努力分布转换而来的 hθ(x) = g(z)=1/1+e-z ;z=θTx 最大似然估计L(θ) = p(Y|X;θ) =∏p(y(i)|x(i);θ) =∏(hθ(x))y(i)(1-hθ(x))1-y(i) l(θ) = logL(θ) =Σy(i)loghθ(x(i))+(1-y(i))log(1-hθ(x(i))) θ的优化目的就是让最大似然估计最大，用梯度上升法求θ θj=θj+α∂l(θ)/∂θj=θj+α(y(i)-hθ(x(i)))x(i)... 阅读全文