lecture 5 : Gaussian Discriminant Analysis and Naive Bayes

前面我们学习的都是 discriminant learning algorthm, 直接对 \(p(y|x)\) 进行建模，或直接学习 \(X \to Y\) 的映射。GDA 和 naive bayes 是 generative learning algorithm, 对 \(p(x |y)\) 建模，再通过贝叶斯公式计算 \(p(y|x) = \frac{p(x|y)p(y)}{p(x)}\)

Gaussian Discriminant Analysis

对于输入，这里我们不再延续 \(x_0 = 1\) 的传统，\(x \in \mathbb{R}^n\)

assumption: \(x|y\) ~ \(N(\mu,\Sigma)\)

multivariate gaussian recap

如果随机变量 Z 服从高斯分布，即 \(Z\) ~ \(N(\mu, \Sigma)\), \(Z\in \mathbb{R}^n, \mu \in \mathbb{R}^n, \Sigma \in \mathbb{R}^{n\times n}\)

\[EZ = \mu\\ Cov(Z) = E((Z-\mu)(Z-\mu)^T)\\ p(x;\mu, \Sigma) = \frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) \]

对于二分类问题：

GDA model:

\(x|y = 0\) ~ \(N(\mu_0, \Sigma)\)

\(x|y=1\) ~ \(N(\mu_1, \Sigma)\)

\(y\) ~ \(Ber(\phi)\)

共有 \(\mu_0, \mu_1, \Sigma, \phi\) 这几个参数。

对于数据集 \(\{(x^{(i)},y^{(i)})\}_{i=1}^m\)

可以计算联合概率

\[L(\phi, \mu_0, \mu_1, \Sigma) = \prod_{i=1}^m p(x^{(i)},y^{(i)};\phi, \mu_0, \mu_1, \Sigma) \\ = \prod_{i=1}^m p(x^{(i)}|y^{(i)})p(y^{(i)})\\ l(\phi, \mu_0, \mu_1, \Sigma) = log(L(\phi, \mu_0, \mu_1, \Sigma)) \]

最优化目标即为 \(l(\phi, \mu_0, \mu_1, \Sigma)\), 使用极大似然估计求得参数的估计值。

\[\phi = \frac{\sum_{i=1}^m 1\{y^{(i)} = 1\}}{m}\\ \mu_0 = \frac{\sum_{i=1}^m 1\{y^{(i)} = 0\} x^{(i)}}{\sum_{i=1}^m 1\{y^{(i)} = 0\}}\\ \mu_1 = \frac{\sum_{i=1}^m 1\{y^{(i)} = 1\} x^{(i)}}{\sum_{i=1}^m 1\{y^{(i)} = 1\}}\\ \Sigma = \frac{1}{m}\sum_{i=1}^m (x^{(i)} - \mu_{y^{(i)}})(x^{(i)} - \mu_{y^{(i)}})^T \]

在最后做预测时，预测的标签为：

\(\underset{y} argmax \quad p(y|x) = \underset{y} argmax\quad \frac{p(x|y)p(y)}{p(x)} = \underset{y} argmax \quad p(x|y)p(y)\)

即找出后验概率最大的类别。

与逻辑回归的联系和比较

可以证明，

\[p(y = 1|x;\phi, \mu_0, \mu_1, \Sigma) = \frac{1}{1+exp(-\theta^T x)}, \theta = f(\phi, \mu_0, \mu_1,\Sigma) \]

这就是 sigmoid 函数，可见 GDA 和 逻辑回归有某种联系。

下面分别看一下这两种模型：

1. GDA

assumption :

\(x|y = i\) ~ \(N(\mu_i, \Sigma)\)

\(y\) ~ \(Ber(\phi)\)

2. Logistic Regression

\(p(y=1|x) = \frac{1}{1+exp(-\theta^T x)}\)

可以证明 GDA's assumption implies LR's assumption, but LR's assumption does not implies GDA's assumption. 可见 GDA 做了一个更强的假设。

这使得我们在应用时应该合理地选择模型，如果我们能确定数据来源符合 GDA 的假设或者近似符合，那么 GDA 的效果往往会比逻辑回归好，即使数据集不大，这是因为更强的假设意味着我们告诉了模型更多的信息。（模型的信息来源：数据，假设）但是如果数据不符合 GDA 的假设，我们却采用 GDA 模型，那么效果的好坏就难以确定了，可能刚好还不错，也有可能很差，相比而言逻辑回归更加 robust。

Naive Bayes

用一个例子来讲解朴素贝叶斯模型 ： spam Email filter

首先考虑如何标识 input feature vector:

建立一个词典，将特征词放入词典，假设词典大小为 n，那么输入就是一个 n 维向量，如果第 i 个词出现，那么第 i 个分量为 1，否则为 0.

即 \(x \in \{0,1\}^n, x_i = 1\{\text{word i appears in email}\}\)

want to model: \(p(x|y), p(y)\)

如果 n = 10,000, 那么 x 有 \(2^{10,000}\) 种可能取值，那么 parameter vector 就有 \(2^{10,000} - 1\) 维，这是无法忍受的。

在朴素贝叶斯模型中，假设：

\(x_i\) s is conditionally independent given y.

在这个例子中，就是说，知道这个邮件是 spam email 这件事之后，知道 \(x_i\) 是否为 1 对知道 \(x_j\) 是否为 1 没有影响。

\[p(x_1, ...,x_n|y) = p(x_1|y)p(x2|x1, y) ....p(x_n|x1, ...,y)\\ = p(x_1|y) ... p(x_n|y) \]

其中第一步不依赖于任何假设，第二步使用了朴素贝叶斯假设。

朴素贝叶斯模型有这些参数

\[\phi_{j|y=1} = p(x_j = 1|y=1)\\ \phi_{j|y=0} = p(x_j = 1| y = 0)\\ \phi = p(y = 1) \]

和 GDA 类似，要求得这些参数，只要使联合概率最大化：

\[L(\phi_y, \phi_{j|y}) = \prod_{i=1}^mp(x^{(i)},y^{(i)};\phi_y, \phi_{j|y}) \]

通过求偏导数求得：

\[\phi_y = \frac{\sum_{i=1}^m 1\{y^{(i)} = 1\}}{m}\\ \phi_{j|y} = \frac{\sum_{i=1}^m 1\{x_{j}^{(i)} = 1,y^{(i)} = 1\}}{\sum_{i=1}^m 1\{y^{(i)} = 1\}} \]

在预测的时候，

\[p(y=1|x) = p(x|y=1)p(y=1)/p(x) \\= \prod_{i=1}^n p(x_i|y=1) p(y=1)/(\prod_{i=1}^n p(x_i|y=1)p(y=1) + \prod_{i=1}^n p(x_i|y=0)p(y=0)) \]

后验概率最大的那一组即为预测的标签。