Classification

线性受限于极端样本点，会导致分类不准确
Bayesian Classifiers

原理：

把计算拆解成两部分

找高斯函数(对连续变量，离散变量可以直接用比例求）

换一个角度理解：把已知的样本当作从一个gaussian distribution里sample出来的
所以我们从已知中反推gaussian distribution的参数（maximum likelihood)
求导找极值点或套公式

共用西格玛(降低模型variance）然后线性分类的效果好？

Sigmoid function(binary)

根据数学推导，可以得到线性关系（也解释了共用西格玛时得到线性分类）

Logistic regression

Cross entropy是在对已知求概率最大似然时转化为求-ln拆开得到的各项通式（如下）

comparsion

用square会使gradient descent在远处就为0，卡住（如下）

前者是直接wb为参数 后者用u1u2和西格玛为参数（假设了概率模型）
后者会脑补（幻想data），对data少的有效

Multi-class

见softmax

Limitation

无法分解非线性分类的

用nueral当作做feature transfermation，增加层数得到可线性分类的，用softmax解决