06 2021 档案

摘要：习题5.1 信息增益比公式： \(g_R(Y, X_i) = \frac{g(Y, X_i)}{H_{X_i}(Y)} = \frac{H(Y) - H(Y|X_i)}{H_{X_i}(Y)}\) 其中， \(H(Y) = -\frac{9}{15} log_2 \frac{9}{15} - \fr 阅读全文

摘要：习题4.1 用极大似然估计法推导朴素贝叶斯的先验概率和条件概率 假设数据集 \(T = \{(x^{(1)} , y^{(1)}), (x^{(2)} , y^{(2)}), ... , (x^{(M)} , y^{(M)})\}\) ， 假设 \(P(Y=c_k) = \theta_k\) ，则 阅读全文

摘要：习题3.1 略 习题3.2 根据例 3.2 构造的 kd 树，可知最近邻点为 \((2,3)^T\) 习题3.3 k 近邻法主要需要构造相应的 kd 树。这里用 Python 实现 kd 树的构造与搜索 import heapq import numpy as np class KDNode: de 阅读全文

摘要：习题2.1 感知机模型的函数表示为 \(f(x) = sign(w*x+b)\) 其中， \(sign(x)=\begin{cases} +1, & x \geq 0 \\ -1, & x < 0 \end{cases}\) 用表格列出异或（XOR）关系 \((x_1,x_2)\) \(y\) (0 阅读全文

摘要：习题1.1 统计学习方法的三要素为：模型、策略、算法。 模型即需要用函数 \(Y=f_\theta(X)\) 或者条件概率分布 \(P_\theta(Y|X)\) 表示。 策略即寻找合适的损失函数，表示预测值与真实值之间的误差，进而构建风险函数。风险函数就是最优化的目标函数。 算法即学习模型时需要选 阅读全文