论文阅读笔记之ICML2012::The Landmark Selection Method for Multiple Output Prediction 基于代表性特征选取的多维度回归方法

我对论文打分(满分5分):4.5

论文目标:

做high dimensional regression的问题,即 clip_image002[4]

一般做回归的时候y的维度会比x低,甚至是一维的,比如一般用回归来做分类、预测。

但是y的维度如果比较高,而x可以是高维也可以是低维,回归问题可能需要有不一样的角度去思考。

主要idea

假设y中的feature是有冗余的,可以用一部分feature来拟合出整个y,我们需要找到那一些“好”的少量的feature(文章称之为landmark)来拟合y。于是可以分两步来做regrssion,

clip_image004[4]; clip_image006[4]

基本实现方法:

首先解释一下landmark,其实很多其他文章中的landmark往往指的一些被选出来的样本点(sample),在这个文章中却是一些被选出来的数据特征(feature)。不过总是可以理解的。

实现方法分为三步

S1: 也是去完成文章假设的一步,去挑一些landmark feature,怎么挑?求解下面这个目标函数:

clip_image008

总的来看,(3)的意思是说用Y里面的一部分feature来进行线性组合,组合出来的y的表达要和原来的y尽可能的相似(F-norm)。其中clip_image010项是group sparse约束,他的意思是先对A的每一行做norm约束,然后对norm vector做L1的sparse约束,得到的结果就是A的某一些行全为0。 第三项clip_image012是对A整体做sparse 约束,得到的结果就是A的很多元素为0。Sparse的约束就是为了去找到那些最有用的landmark。这个思想在machine learning,computer vision很多研究里面都有体现。

S2:计算clip_image004[5],通过A我们可以看到哪些feature被挑出来了,组成了yL

然后用一般regression的方法根据training data来做回归,算出yL

S3:用yL 来还原出y

这一部分文章中写的很隐晦,可能作者觉得很好理解就没有具体讲。就我个人理解是得到了yL以后得到y可以直接用下面的方法:

y用y *A 拟合,但是test集合y是需要我们计算的,不知道的。回顾第一步的假设,组合出来的y的表达要和原来的y尽可能的相似。而A是sparse的,于是实际上真正用来拟合的只是yL,所用用第二步预测出来的yL*A即可预测出整个test集合的y。

总结:

这篇文章解决问题的思路值得借鉴,把一个复杂问题简化成两个有关联又相对简单的问题来解。

文章中解第一步的优化问题的方法具体就不展开了,如果真的需要去解类似的group sparse问题的朋友可以去读读论文。

posted on 2012-11-26 21:13  Bin的专栏  阅读(990)  评论(0编辑  收藏  举报

导航