1. cs231n k近邻和线性分类器 Image Classification

第一节课大部分都是废话。第二节课的前面也都是废话。

First classifier: Nearest Neighbor Classifier

在一定时间,我记住了输入的所有的图片。在再次输入一个图片之后,我和之前的图片进行比较,然后输出分类。

近邻分类器用50000张32*32 10labels的训练集来训练。我们定义距离为曼哈顿距离d1(I1,I2)=sigma(abs(I1-I2)),我们相互之间算出每个像素的差值,然后加起来就是距离。

然后我们得到距离最小的一个图片,然后看这图片的label是什么。

tip1:这个傻逼算法会随着训练集合增加,速度变得很慢。。

tip2:这个傻逼算法在训练的时候,我们不计算,只会在最后测试的时候才计算。


加速方法:加速近邻距离的计算,加速匹配。

改变方法:我们亦可以使用不同的距离计算方法,比如欧氏距离。


升级版:KNN,我们找k个最近的list,然后让里面的实例进行vote,票数最多的就是这个分类。k越大分界线越平滑。k的选择是一个超参数。

tip1:假设训练集就是测试集,那么nn的准确率就是100%(因为总能找到自己)

tip2:假设是knn,acc就不一定是100%

tip3:我们怎么去设置超参数?这是一个独立问题,我们不知道,你只能不断的去尝试这个超参数的取值(这不是等于没说吗。。。


拟合程度的选择会影响你的泛化能力,你可以使用k-fold来提高你的泛化能力。cross-validation也可以

实际生活中,没人使用这个傻逼算法,因为这个傻逼算法很慢。如果如果图片稍微变了一下(比如往左边平移,比如亮度不一样),距离就会差很多,但实际上这个图片只是小小的改变了一下,knn就会很难识别。(实际上我觉得这应该是你选择的距离计算方法不对)

Linear Classification

神经网络现在非常屌,哪儿都有神经网络。neural networks practitioner,我们就像搭积木一样搭建神经网络。

考虑32323的一个数据集,一个图一共3072个数,我们想知道这个图属于哪一类。

f(x,W)来表示,x是image,W是parameters。输入图片,输出分类。

最简单的线性分类器\(fx,W,b) = Wx+b\),W是10*3072的矩阵,x是3072*1的矩阵,b是10*1的bias。我们通过不断的调整W和b来到最佳的结果。

tips1:线性分类器做了什么?W就像一个模版匹配,它实际上是用一些分数的加权和,与自己想要的颜色匹配。我们可以把图片想成高伟空间的点,然后线性分类器就是每一条线,描绘这个取样空间中负点指向正点方向的梯度。沿着这条直线,你会得到0分,如果在正方向,距离越远分数越高。

tip2:什么东西线性分类系很难去分类?你的图片如果在3072高维空间是一个圆,那么一条直线很难去很好的分割(自行脑补画面)。灰度图片很难用线性分类器去做,因为特征不够。

定义损失函数,能够quantifying what it means to have a good W.

posted @ 2017-11-21 23:39 qscqesze 阅读(...) 评论(...) 编辑 收藏