关于过拟合、局部最小值、以及Poor Generalization的思考

Poor Generalization

这可能是实际中遇到的最多问题。

比如FC网络为什么效果比CNN差那么多啊,是不是陷入局部最小值啊?是不是过拟合啊?是不是欠拟合啊?

在操场跑步的时候,又从SVM角度思考了一下,我认为Poor Generalization属于过拟合范畴。

与我的论文 [深度神经网络在面部情感分析系统中的应用与改良] 的观点一致。

SVM

ImageNet 2012上出现了一个经典虐杀场景。见[知乎专栏]

里面有一段这么说道:

当时,大多数的研究小组还都在用传统computer vision算法的时候,多伦多大学的Hinton祭出deep net这样一个大杀器。差距是这样的:

第一名Deepnet的错误率是0.16422
第二名日本东京大学的错误率是0.2617
第三名牛津大学的错误率是0.2679

 
 
 
 
 
 
 
 

除了Hinton组是用CNN之外,第二第三都是经典的SIFT+SVM的分离模型。

按照某些民科的观点,SVM是宇宙无敌的模型,结构风险最小化,全局最小值,那么为什么要绑个SIFT?

众所周知,SIFT是CV里最优良的Hand-Made特征,为什么需要这样的特征?

因为它是一种Encoding,复杂的图像经过它的Encoding之后,有一些很明显的性质(比如各种不变性)就会暴露出来。

经过Encoding的数据,分类起来是非常容易的。这也是模式识别的经典模式:先特征提取、再分类识别。

 
Question:如果用裸SVM跑ImageNet会怎么样?
My Answer:SVM的支持向量集会十分庞大。比如有10000个数据,那么就会有10000个支持向量。
 
 
 

SVM不同于NN的一个关键点就是,它的支持向量是动态的,虽然它等效于NN的隐层神经元,但是它服从结构风险最小化。

结构风险最小化会根据数据,动态算出需求最少的神经元(或者说是隐变量[Latent Variable])。

如果SVM本身很难去切分Hard数据,那么很显然支持向量会增多,因为[Train Criterion] 会认为这是明显的欠拟合。

欠拟合情况下,增加隐变量,增大VC维,是不违背结构风险最小化的。

极限最坏情况就是,对每个点,拟合一个值,这样会导致最后的VC维无比庞大,但仍然满足结构风险最小化。图示如下:

 
 
 

之所以要调大VC维,是因为数据太紧密。

如果吃不下一个数据,那么找局部距离的时候,就会总是产生错误的结果。

尽管已经很大了,但是仍然需要更大,最好是每个点各占一个维度,这样100%不会分错。

这会导致另外一个情况发生:过拟合,以及维数灾难:

 
维数灾难:
 
在Test Phase,由于参数空间十分庞大,测试数据只要与训练数据有稍微变化,很容易发生误判。
原因是训练数据在参数空间里拟合得过于离散,在做最近局部距离评估时,各个维度上,误差尺度很大。测试数据的轻微变化就能造成毁灭级误判,学习的参数毫无鲁棒性。
 
 
 
 
 
 

不过,由于现代SVM的[Train Criterion] 一般含有L2 Regularier,所以可以尽力压制拟合的敏感度。

如果L2系数大点,对于大量分错的点,会全部视为噪声扔掉,把过拟合压成欠拟合。

如果L2系数小点,对于大量分错的点,会当成宝去拟合,虽然不至于维数灾难,过拟合也会很严重。

当然,一般L2的系数都不会压得太狠,所以过拟合可能性应当大于欠拟合。

 

我曾经碰到一个例子,我的导师拿了科大讯飞语音引擎转化的数据来训练SVM。

Train Error很美,Test Error惨不忍睹,他当时和我说,SVM过拟合好严重,让我换个模型试试。

后来我换了CNN和FC,效果也差不多。

从Bayesian Learning观点来讲,Model本身拥有的Prior并不能摸清训练数据Distribution。

这时候,无论你是SVM还是CNN,都是回天无力的,必然造成Poor Generalization。

 

不是说,你搞个大数据就行了,你的大数据有多大,PB级?根本不够。

单纯的拟合来模拟智能,倒更像是是一个NPC问题,搜遍全部可能的样本就好了。

悲剧的是,世界上都没有一片树叶是完全相同的,美国的PB级树叶的图像数据库可能根本无法解决中国的树叶问题。

 

也不是说,你随便套个模型就了事了,更有甚者,连SVM、NN都不用,认为机器学习只要LR就行了。

“LR即可解决湾区数据问题”,不得不说,无论是传播这种思维、还是接受这种思维的人,都是时代的悲哀。

 

NN

再来看一个NN的例子,我在[深度神经网络以及Pre-Training的理解]一文的最后,用了一个神奇的表格:

[FC]

负似然函数 1.69 1.55 1.49 1.44 1.32 1.25 1.16 1.07 1.05 1.00
验证集错误率 55% 53% 52% 51% 49% 48%

49%

49% 49% 49%

 

 

 

[CNN]

负似然函数 1.87 1.45 1.25 1.15 1.05 0.98 0.94 0.89 0.7 0.63
验证集错误率 55% 50% 44% 43% 38% 37%

35%

34% 32% 31%

 

 

 

当初只是想说明:FC网络的Generalization能力真是比CNN差太多。

但现在回顾一下,其实还有有趣的地方。

I、先看FC的Epoch情况,可以看到,后期的Train Likelihood进度缓慢,甚至基本不动。

此时并不能准确判断,到底是欠拟合还是陷入到局部最小值。

但,我们有一点可以肯定,增大FC网络的规模,应该是可以让Train Likelihood变低的。

起码在这点上,应该与SVM做一个同步,就算是过拟合,也要让Train Likelihood更好看。

 

II、相同Train Likelihood下,CNN的Test Error要低很多。

如果将两个模型看成是等效的规模(实际上CNN的规模要比FC低很多),此时FC网络可以直接被判为过拟合的。

这点需要转换参照物的坐标系,将CNN看作是静止的,将FC网络看作是运动的,那么FC网络Test Error就呈倒退状态。

与过拟合的情况非常类似。

 

综合(I)(II),个人认为,从相对运动角度,Poor Generalization也可以看作是一种过拟合。

(II)本身就很糟了,如果遇到(I)的情况,那么盲目扩张网络只会变本加厉。

这是为什么SVM过拟合非常可怕的原因,[知乎:为什么svm不会过拟合?]

posted @ 2015-11-27 22:00  Physcal  阅读(4020)  评论(6编辑  收藏  举报