dahua 推荐的统计学习的专著

最近读了两本关于统计学习的专著，觉得它们确实是这个领域的难得一见的上乘之作。

Judea Pearl.  Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann Pub, Inc. 1988

关于Bayesian Network系统的统计推断的，是介绍Belief Propagation的经典著作。一般来说，统计学习这个领域的词汇更新很快，十几年前出版的书的行文风格，现在的人看来往往会感到很不习惯了。在阅读前，我曾担心可能会不太适应，但是读了几页，却有如沐春风的感觉。书本从开始就介绍了传统统计推断和置信网络推断的比较，这是统计学领域的根本性问题，或者说，已经带有一定的哲学味道了。可是作者能够借助一些生活上的一些有趣的例子，把道理说得清楚明白，让人心领神会，这是这本书最值得称道的地方。我一直认为，能把一个领域，乃至一个学科的根本性问题，通过通俗的例子进行清晰的透视，这才是最深厚的功夫的体现。

这本书的作者 J. Pearl 是统计学习领域的世界级泰斗，也是统计推断理论的奠基人。他是世界上第一个把因果关系用数学形式表达出来的人，并指出在推理过程中，因果依赖关系(Casuality)比起联合概率(Joint probability)——传统统计学的核心概念，起着更为根本性的作用。在传统统计理论中，推断主要是通过对联合概率的边缘化(Marginalization)实现，运算量对变量个数呈现指数增长，即使使用蒙特卡罗(Monte Carlo)采样，运算量也是大得惊人的，并且这种计算过程并不符合人脑的推理方式。而他提出的基于因果网络结构的置信传递(belief propagation)，使得运算量变成了对变量个数成准线性增长的方式，使得一些有数以万计变量的模型能够被有效处理。而且基于因果关系的推导也符合人脑的思维方式。关于这些问题，书中有精彩的论述。

J. Pearl 在成名之后，为世界和平做出了自己的贡献。在美国，他是一个反对战争，倡导和平的人士。很不幸的是，不久前，他的儿子在中东前线了解当地真实情况时付出了自己的生命。

Bernhard Scholkopf and Alexander J. Smola. Learning with Kernels: Support Vector Machines, Regularization, Optimization and Beyond. The MIT Press. 2002.

这是全面介绍关于kernel和svm的书。这本书除了对kernel和svm这两个主要题材有全面深入的介绍和探讨之外，还广泛涉及了许多相关的知识，包括VC Theory, PAC Theory, Regularization and Optimization等等。关于kernel和svm，这本书介绍的深度比起其它著作更为深入，尤其可贵的是关于Kernel和Gaussian Process, Laplacian Process以及Relevance Vector Machine的联系有深入剖析。关于implementation的问题也有不少不错的见解。书的题目叫做…… and Beyond，这个beyond这本书出色地做到了。

=========================================================================