线性分类

线性分类器

　　f(xi,W,b)=Wxi+b

x：图片三维数组转换过来的一个列向量，长度D=宽*高*通道数

k：类别数

w：权重参数，大小[k,D]

b：偏差矢量，大小[k.,1]

最终的计算结果（预测值）为一个k行列向量（标签也是一个k行列向量，两者做对比）

　　我们的目标是设置好合适的w，b值，使得计算出来的值与目标值相符合。

　　训练集用于学习参数（w,b）,一旦学习完成，我们就可以抛弃整个训练模型，而仅仅保留学习到的参数。

（卷积神经网络的思路与之类似，只是用来做映射的函数会更加复杂，其中包含的参数会更加多）

 

解析线性分类器：

　　线性分类器将三个通道所有像素的加权和作为分类的依据。

　　如何来设置好这些权重，是关键工作。

　　

（假设这张图片向量长度只有4，W矩阵是我们赋予的权重，通过矩阵乘法和加法，计算出相应的目标数值。很明显图示的权重的分配并不合理，导致计算机以为图片是狗）

 

线性计算中对于偏差矢量的另一种处理方式：将权重矢量扩充一列用来装b

 

图像数据处理：

　　在机器学习中，始终执行输入特征的规范化是非常普遍的做法（对于图像，每个像素都被视为特征）。尤其重要的是，通过从每个特征中减去均值来使得

图像居中。

 

损失函数：

　　用它来恒量我们对于分类结果的不满

多类支持向量机损失（SVM）：

　　拟人化的理解：SVM指的是期望某种结果，这种结果产生很少的损失。

 

 

 

省略很多优化措施

随机权重，梯度下降，小批次下降。。。。。。