龙星计划机器学习课程再打酱油有感
课程主页是：http://bigeye.au.tsinghua.edu.cn/DragonStar2012/index.html
大家可以在上面看到课程的介绍，教师的信息，现在也可以下载到课件了。
今年的《机器学习》课程有一些变化。
首先，与之前纯粹来自美国著名大学的教师不同，今年讲课的老师与业界关系更加密切， 主讲余凯和张潼二位老师都是在业界从事科研多年的资深专家；凑巧的是他们现在又同时在百度工作，张潼现在是在百度做访问科学家吧，余凯现在更是百度的研发 副总裁了。其中一个小插曲就是余凯老师周五穿了百度的文化衫过来，虽然他一再解释穿衣的来由，但越解释却越感觉他这是在植入广告，呵呵...
估计吧，这次听课套磁留学的是没有了，套磁去百度估计不少，呵呵...
其实，虽然此次授课的主要是上面两位老师，但是参与授课答疑的应该说是一个教师团队，有清华的，计算所的，甚至微软的刘鉄岩都来了。 由于此次课程安排得很紧凑，基本就是每天上午的9点到下午2点，课间课后都没有答疑，明确的答疑时间是下午2点上完课以后，我估计大部分人也和我一样2点 听完就直接回去了。在最后一天的最后一节课，本来是安排summary和road ahead的，后来老师们临时改成了交流与答疑，虽然还是有些小缺陷(比如所有问题都是大家提前发到老师邮箱的，没有现场提问的环节)，但我依旧觉得交流 是这课程的最亮点了。
然后呢，我自己也有的一些变化。10年的那次纯粹是打酱油，每天上下课都要坐很久的地铁，再加上下里巴人第一次去如此花花世界的大上海，虽然安奈住了浮躁的内心，但是现实社会的冲击依旧巨大。
10年的时候上课什么的，虽然事情准备了很多，比如课件基本都提前打印好了，PRML也看了一些，但是Eric和Feifei老师讲的很多还是不懂，这个估计也与自己上课老瞌睡有关
相相反，今年的课程就没怎么准备了，首先课件事先也没公布同事也没有参考书，就大概列了一下课程纲要；然后就是现在毕竟还在上班，能翘班一星期(照样有薪水哦，呵呵
)来上课就很感激经理们了，预习不光时间上做不到，就是心思上也做不到。虽然没准备吧，但是确实感觉能听懂比10年更多些内容了，一是估计这两年自己也进步了一点点吧，然后就是此次讲的更多的是与业界相关的东西，理论部分大都简要带过了。
第一天介绍了Introduction to Machine Learning, Linear Model, Overfitting and Regularization 和 Linear Classification四部分内容。大部分内容都属于入门级的，如果看过PRML效果可能会更好。课上余凯老师提到人工智能核心部分“控制”和“感知”其实都是需要机器学习的。在提到机器学习 三要素Data, Model和Algorithm的时候，其实余凯老师说到他倒认为最重要的是需求，这可能与其在业界工作有关吧。线性模型本来说应该不是非常难理解，但是 张潼老师从统计的角度分析，说实话真没太听懂，特别是后面讲到对各个特征重要进行评估的时候用到了假设检验中的z-score和p-value，从这里以 后就没能跟上老师的步调了。后面的Overfitting and Regularization也是大部分从统计的角度讲解的，从训练集测试集的划分到bias variance之间的trade-off，提到使用regularization去避免overfitting(在我看来实质是避免模型过于复杂)。最 后，余凯老师把perceptron, SVM, Logistic Regression统一放到Linear Classification去讲解，这种分类确实不一样。但是这里的感知器应该只是指那种还不能解决XOR问题的单层神经网络吧。
第二天讲的是Model Selection, Model Combination, Boosting and Bagging和Overview of Learing theory。这里的模型选择讲的是用一种什么标准去评价一个模型的好坏，我们用的标准基本还是经验风险和结构风险，所以课中重点介绍了Structural Risk Minimization。老师课件上还提到AIC,BIC,MDL等评价标准，以后再去看吧。模型的combination除了boosting还有加权结合啦，voting，stacking等，但研 究热点明显是boosting，ACL最新的文章都有好几篇。最后一节课是学习理论，这基本是我最不懂的地方了，记得研二开始看《机器学习》的时候就没 懂，到10年的机器学习还是没太弄懂，主要纠结的地方还是关于模型复杂度证明中用到了很多不等式。其实这部分对于做机器学习理论部分的是还真的是非常重要 的，比如SVM中的VC dimension理论。
第三天就讲到Optimitization on Machine Learning, Online Learning, Sparisity Models和Basic Expansion and kernel method。优化算法是求解机器学习方法的重要算法，比如常用的梯度下降等，现在用的较多的是BFGS和LBFGS(我现在才知道BFGS原来是四个人名组成的)。讲到核函数的时候，余凯老师提到其实核函数就是一个平滑算子。其他几部分内容印象不是很深了。
第四天的内容分别是Introduction to Graphical Models, Structural Learning, Learing on the web和Deep Learing and Feature learning models for vision。这次的图模型入门，老师介绍的都是比较浅显易懂内容，所以我大概都算是听懂了。老师说到图模型其实是一种表达问题的语言，不是一种具体的模型，其实我自己老是 把图模型与topic model特别是LDA联系在一起，今后还是要继续深入学习。Structural learing是由清华的朱军老师代上的，朱军老师基本总结了HMM，MEMM和CRF，并比较分析了CRF和H3N。MEMM的标注偏置还是一个很严重 的问题，但是我真没有理解。老师推荐一个资源Alchemy, Alchemy is a software package providing a series of algorithms for statistical relational learning and probabilistic logic inference, based on the Markov logic representation。 后面张潼老师介绍的learing on the web主要是ranking 和 classification，其他我更感兴趣的方面倒没有深入探讨，比如用于行为建模，社区分析等。最后是余凯老师介绍的最近非常非常火的deep learing，并介绍其在CV上的应用。deep learing 应用的比较成功的领域还是语音和图像，我感觉deep learing主要就是对特征空间按照层次分层建模，进行深入挖掘图像和语音特征的意义。余凯老师说到目前最好的语言识别系统是微软用了9层特征空间，最好的图像识别系统是google做出来的，据说效果都提高了十多个百分点。
最后一天就三节课，分别是Transfer Learing and Semi-supervised learning， Recommendation system和简单介绍了下CV的learning。迁移学习倒是可以多讲一下，毕竟我们都认为人类对事物的知识是有迁移性的，但是实现起来又确实很难，所以目前大部分的系统都是通过share一些feature来实现transfer learning的。推荐系统倒是我和经理都很敢兴趣的领域，这里也算是入了下门吧。其实现在网络上有很多现成数据，做起来也很方便，我就试图跟着学习了一段时间mahout。最后一节余凯老师基本上扫过了下CV全部内容，没有太多理论没有太多公式，这对于最后一节课确实也挺合适。
主要的课程及内容就上面那么多，下面说几件小事吧。
1. 有同学问到如何学习机器学习，张潼给的建议是去解决一个问题。找一个喜欢的感兴趣的问题，自己动手去解决，从采集数据，预处理，选择解决方法(模型)，编写程序等，我也相信这样一套流程下来，大概会对机器学习方法有个更感性的认识。余凯老师补充到，入门的书籍其实也很重要，他自己推荐的是Duda1973年写的那本《Pattern Classfication and Scene Analysis》，该书第二版就是大家常推荐的《模式分类》。最后一堂课每位老师也都推荐了一本书，其实这几本书我大概都扫过，班上有同学还下载了整理在新浪微博上，你可以在这里进行下载。
2. 这次能去听课真的要非常感谢国内美国的两位经理，真的非常感谢他们能这么信任我(其实,我这一年来的工作确实做得很差，我自己都不满意，更别说他们了)。不然要我请假不拿工资去听课，我真不一定能下得了这样的狠心，毕竟我现在真的非常需要这些钱。要知道以后读书的工资只能解决生存问题，可是我还是想要生活的呀。
3. 其实不想说会议组织的，但是还是要强调下，清华的老师和同学真的做了非常多的工作，非常感谢他们。虽然张长水教授一再说到清华的条件有限等等，其实是人都知道这是谦虚啦。不管其他人(特别是文科生)是怎样的观点(不明白我说的话可以看看许知远的书《那些忧伤的年轻人》应该就明白了，呵呵
)，对我这位呆头呆脑的理工科学生，清华之于我，就像阳光之于植物，奥运之于运动员，都只有敬仰之情。
4. 实验室很多师兄师姐说到他们把Eric Xing当做偶像，哈哈，我乘机得瑟了一番，因为我不仅见过他还有他的照片。其实吧，他更是我的偶像，冲着不是他的天才，而是他的努力。
5. 谈论机器学习，谈论统计学习，就难免谈论两种哲学观点。
总的来说，龙星计划机器学习课程，上次(10年上海)是纯粹打酱油，这次(12年北京)除了打酱油，还买了点盐
