ML From Hung Yi Lee --- Logistic Regression #5

Logitstic Regression

Step 1: Function Set

\(Logistic\ Regression\)使用Sigmod函数，会让输出限制在\(\{ 0, 1\}\)

Step 2: Goodness of a Function

• 要让效果最好的话，我们就让这个式子最大，也就是有最大的可能去拟合这个数据集

如此之后，使用\(log\)把连乘分开，使用布尔变量把所有的化为同一种形式，然后再寻找最小值

去minimize这个式子然后求最小值

• 化简结果表示理想的label和现实计算的label之差有多大，大的话更新就要快

• 对比\(Linear\ Regression\)，这个\(Logistic\ Regression\) \(update\ formula\)几乎是一模一样的，只是\(f_{w,b}(x^n)\)有所变化

• 如果使用\(Square\ Error\)的话，很容易找不到真实的结果，

• 使用\(Generative\ model\)会让概率出现错误，导致明明是正类，但是判断出来却小于0.5

当你的dataset很少的时候，生成式模型的效果可能会更好，它会需要比较少的dataset

把label换成向量就好啦

logistic不一定会很好的拟合所有种类

机器不知道如何进行线性变换

使用不同logistic regression 得到不同的区分函数

先有前面几个函数做feature transportation

多个逻辑回归连接在一起就是逻辑回归