摘要： 习题11.1 由题，根据公式 \(P(Y) = \frac{1}{\sum \limits_Y \prod \limits_C \Psi_C(Y_C)} \prod \limits_C \Psi_C(Y_C)\) 概率无向图模型的因子分解为将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函 阅读全文

摘要： 习题10.1 由题， \(T=4, N=3,M=2\) 根据算法10.3 第一步，计算终期 \(\beta\) ： \(\beta_4(1) = 1, \beta_4(2) = 1, \beta_4(3) = 1\) 第二步，计算中间每期 \(\beta\) ： \(\beta_3(1) = a_{ 阅读全文

摘要： 习题9.1 EM算法分为E步与M步 对于E步，计算期望。 \(\mu_j^{(i+1)} = \frac{\pi^{(i)}(p^{(i)})^{y_j}(1-p^{(i)})^{1-y_j}}{\pi^{(i)}(p^{(i)})^{y_j}(1-p^{(i)})^{1-y_j} + (1 - \ 阅读全文

摘要： 习题8.1 可使用 scikit-learn 库的 sklearn.ensemble.AdaBoostClassifier 进行模型的训练 略 习题8.2 列出表格进行对比 模型名称 学习策略 学习的损失函数 学习算法 支持向量机 极小化正则化合页损失，软间隔最大化 合页损失 序列最小最优化算法（S 阅读全文

摘要： 习题7.1 感知机的对偶形式与支持向量机的对偶形式的区别在于：感知机是通过假设参数变化的增量进行转换；而支持向量机是通过求解带约束的最优化问题，通过拉格朗日对偶性转为无约束最优化问题去求解。 感知机的原始形式 最优化目标函数： \(\mathop{min} \limits_{w,b} L(w,b) 阅读全文

摘要： 习题6.1 首先解释什么是指数分布族。组数分布族，也称指数族分布（后面用这个名词替代），指数族分布为满足 \(f(x|\theta) = h(x) *exp(\eta(\theta)*T(x) - A(\eta))\) 形式的概率分布 （\(f(x|\theta)\) 可为概率分布的概率密度函数）。 阅读全文

摘要： 习题5.1 信息增益比公式： \(g_R(Y, X_i) = \frac{g(Y, X_i)}{H_{X_i}(Y)} = \frac{H(Y) - H(Y|X_i)}{H_{X_i}(Y)}\) 其中， \(H(Y) = -\frac{9}{15} log_2 \frac{9}{15} - \fr 阅读全文

摘要： 习题4.1 用极大似然估计法推导朴素贝叶斯的先验概率和条件概率 假设数据集 \(T = \{(x^{(1)} , y^{(1)}), (x^{(2)} , y^{(2)}), ... , (x^{(M)} , y^{(M)})\}\) ， 假设 \(P(Y=c_k) = \theta_k\) ，则 阅读全文

摘要： 习题3.1 略 习题3.2 根据例 3.2 构造的 kd 树，可知最近邻点为 \((2,3)^T\) 习题3.3 k 近邻法主要需要构造相应的 kd 树。这里用 Python 实现 kd 树的构造与搜索 import heapq import numpy as np class KDNode: de 阅读全文

摘要： 习题2.1 感知机模型的函数表示为 \(f(x) = sign(w*x+b)\) 其中， \(sign(x)=\begin{cases} +1, & x \geq 0 \\ -1, & x < 0 \end{cases}\) 用表格列出异或（XOR）关系 \((x_1,x_2)\) \(y\) (0 阅读全文