摘要：
10 贝叶斯分类器 10.1 朴素贝叶斯分类器 假设所有属性相互独立 $$ h_{n b}(\boldsymbol{x})=\underset{c \in \mathcal{Y}}{\arg \max } P(c) \prod_{i=1}^{d} P\left(x_{i} | c\right)\ta 阅读全文
posted @ 2019-09-19 12:19
jestland
阅读(478)
评论(0)
推荐(0)
摘要：
1. 选择合适的特征向量 2. 从一个很简单的算法实现，交叉验证检验误差，作出学习曲线。看算法是否具有高偏差或高方差问题，再考虑是否选择增加特征量或者增加样本 ==用实际证据来指导决策== 3. 发现误差后，手动分析误差类别，判断什么特征导致的误差，对误差进行优先级排序，先解决最多数量的 4. == 阅读全文
posted @ 2019-09-19 12:18
jestland
阅读(157)
评论(0)
推荐(0)
摘要：
9 支持向量机 SVM 相比于神经网络，不用担心陷入局部最优问题，因为是凸优化 9.1 支持向量机的假设函数 $$ h_{\theta}(x)=\left\{\begin{array}{ll}{1,} & {\text { if } \theta^{T} x \geq 0} \\ {0,} & {\ 阅读全文
posted @ 2019-09-19 12:18
jestland
阅读(297)
评论(0)
推荐(0)
摘要：
6 决策树 6.1 结构 一个根节点：样本全集 若干个内部结点：对应于属性测试 若干个叶结点：决策结果 ==属性代表了各个结点，各个结点的连接线代表属性的取值== 当第一层最优划分属性选取后，在划分后的D中进行递归，一层层选取最优划分属性，最后形成决策树 只有一层划分的决策树称为决策树桩 6.2 目 阅读全文
posted @ 2019-09-19 12:17
jestland
阅读(893)
评论(0)
推荐(0)
摘要：
7 神经网络 解决特征数量过多，线性回归与逻辑回归算法参数过多的情况 7.1 M P神经元模型 神经元接收其他n个神经元传递的输入信号， 加权和作为总输入值 ，与神经元阈值比较，再通过激活函数处理产生神经元输出，激活函数为sigmoid函数，是设定在神经元上的函数， 典型的激活函数为sigmoid函 阅读全文
posted @ 2019-09-19 12:17
jestland
阅读(489)
评论(0)
推荐(0)
摘要：
5 正则化 给参数增加惩罚项，达到简化假设函数，降低过拟合的目的 5.1 正则化线性回归 5.1.1 正则化代价函数 $$ J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}(h_{\theta}(x^{(i)}) y^{(i)})^{2}+\lambda \su 阅读全文
posted @ 2019-09-19 12:13
jestland
阅读(172)
评论(0)
推荐(0)
摘要：
4 逻辑回归 逻辑回归的假设函数为sigmoid函数，把较大范围变化的输出值挤压到(0，1)内，因此也被称为挤压函数 $$ h_\theta(x)=\frac{1}{1+e^{ \theta^Tx}}\tag{4.1} $$ $h_\theta(x)$代表输入为x时y=1的概率 4.1 决策边界 若 阅读全文
posted @ 2019-09-19 12:12
jestland
阅读(177)
评论(0)
推荐(0)
摘要：
3 线性回归 3.1 最小二乘法 试图找到一条直线，使所有样本到直线上的欧式距离之和最小 3.2 代价函数 cost function ，往往令其最小化 单变量线性回归假设函数 $$ h(\theta)=\theta_0+\theta_1x\tag{3.1} $$ 3.2.1 梯度下降法 不停进行$ 阅读全文
posted @ 2019-09-19 12:11
jestland
阅读(205)
评论(0)
推荐(0)
摘要：
2 模型评估 2.1 数据集划分为训练集与测试集方法 常按照7：3的比例选择，若数据已经随机的话就取前70%作为样本集 2.1.1 留出法 直接将数据集D划分为两个 互斥 的集合 划分应保持数据分布一致性 存在多种划分方式，采用若干次随机划分、重复进行实验评估后取平均值作为评估结果 常见做法：2/3 阅读全文
posted @ 2019-09-19 12:11
jestland
阅读(284)
评论(0)
推荐(0)
摘要：
1 术语 1.1 泛化 学习得到的 模型适用于新样本的能力 称为 泛化能力 1.2 过拟合 关键障碍 学习器能拟合样本所有数据，即把 训练样本自身的一些特点当作所有潜在样本的一般性质 ，导致泛化能力下降的现象。 即假设函数中特征变量过多 只可缓解，无法消除 常见导致因素：学习能力过好 1.2.1 解 阅读全文
posted @ 2019-09-19 12:10
jestland
阅读(96)
评论(0)
推荐(0)
浙公网安备 33010602011771号