摘要：PRAML学习笔记-信息论 概述 对<<pattern recognition and machine learning>> 一书关于信息论简介的学习笔记, 对于一个随机变量x,它携带有多少信息量呢? 当我们观察到了x的一个特定值的时候，我们获得了多少信息量呢? 信息量可以表示为“惊讶度”(degree of surprise)。 如果我们观察到了一个不常见的事情发生显然惊讶度高，获得信息量大,极端的如果我们知道一个事件百分百发生那么我们没有任何信息获得。 我们考虑与概率分布p(x)相关联的h(x),表示观测到x值时的信息量，当我们认为x,y无关 阅读全文

摘要：Tom M.Mitchell (译pku_goldenlock at qq.com) Abstract 对GENERATIVE AND DISCRIMINATIVE CLASSIFIERS:NAIVE BAYES AND LOGISTIC REGRESSION文章简单翻译(不完整to be finished or not:)请参考原文(很经典)，错误难免仅供自己记录。 1 基于贝叶斯规则的分类学习 这里我们会考虑有监督学习(supervised learning),方程拟合(function approximation),以及贝叶斯推理的关系。 考虑一个有监督学习问题，我们想逼近一个方程f:X 阅读全文