Machine Learning 第三周

ML week3 逻辑回归

Logistic Function

h_\theta(x)=g(\theta^Tx) 

g(t)=\frac{1}{1+e^{-z}}

当t大于0，即下面公式成立时，y=1

\frac{1}{1+e^{-{\theta^Tx}}}>0.5 => {\theta^Tx}>0

关于theta与数据

y(x)=\theta_0+\theta_1x1+\theta_2x2

y(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3 x_1^2+\theta_4x_1x_2+\theta_5x_2^2

Cost function

由于使用线性回归的cost function会产生波浪形而达不到global最优点，所以使用新的方程

Cost(h_\theta(x),y) = -ylog(h_\theta(x))-(1-y)log(h_\theta(x))

多项式形式

矩阵形式

梯度下降算法

矩阵形式

使用其他更快的算法

function [jVal, gradient] = costFunction(theta)
  jVal = [...code to compute J(theta)...];
  gradient = [...code to compute derivative of J(theta)...];
end

options = optimset('GradObj', 'on', 'MaxIter', 100);
initialTheta = zeros(2,1);
   [optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);