摘要：
12 聚类 无监督学习算法之一 聚类试图将数据集中的无标记样本划分为若干个通常不相交的子集，每个子集称为一个簇(cluster)，每个簇可能对应于一些潜在的概念 聚类算法的两个基本问题：性能度量和距离计算 12.1 性能度量 原则：同一簇样本尽可能相似，不同簇样本尽可能不同，即簇内相似度高 簇间相似 阅读全文
posted @ 2019-09-19 12:20
jestland
阅读(289)
评论(0)
推荐(0)
摘要：
14 异常检测问题 针对给出的样本构建一个模型，在模型范围内的样本点被认为是正常的，超出阈值的样本点被认为是异常的。 14.1 算法实现 一堆样本的每个特征量都对应一个均值和方差 1. 计算样本每个特征的均值和标准差 2. 利用高斯分布构建概率函数：$p(x)=p(x_1;\mu_1,\sigma^ 阅读全文
posted @ 2019-09-19 12:20
jestland
阅读(123)
评论(0)
推荐(0)
摘要：
16 大规模机器学习 16.1 随机梯度下降 每次只取一个样本进行梯度下降 作出cost函数图像 出现平缓，则需改变特征或改变学习率 16.2 Mini Batch 梯度下降 每次选取一定数量的样本进行梯度下降，当使用向量化方法并行计算时速度比随机梯度下降更快 17 机器学习中的重要思想 17.1 阅读全文
posted @ 2019-09-19 12:20
jestland
阅读(135)
评论(0)
推荐(0)
摘要：
10 贝叶斯分类器 10.1 朴素贝叶斯分类器 假设所有属性相互独立 $$ h_{n b}(\boldsymbol{x})=\underset{c \in \mathcal{Y}}{\arg \max } P(c) \prod_{i=1}^{d} P\left(x_{i} | c\right)\ta 阅读全文
posted @ 2019-09-19 12:19
jestland
阅读(478)
评论(0)
推荐(0)
摘要：
1. 选择合适的特征向量 2. 从一个很简单的算法实现，交叉验证检验误差，作出学习曲线。看算法是否具有高偏差或高方差问题，再考虑是否选择增加特征量或者增加样本 ==用实际证据来指导决策== 3. 发现误差后，手动分析误差类别，判断什么特征导致的误差，对误差进行优先级排序，先解决最多数量的 4. == 阅读全文
posted @ 2019-09-19 12:18
jestland
阅读(157)
评论(0)
推荐(0)
摘要：
9 支持向量机 SVM 相比于神经网络，不用担心陷入局部最优问题，因为是凸优化 9.1 支持向量机的假设函数 $$ h_{\theta}(x)=\left\{\begin{array}{ll}{1,} & {\text { if } \theta^{T} x \geq 0} \\ {0,} & {\ 阅读全文
posted @ 2019-09-19 12:18
jestland
阅读(297)
评论(0)
推荐(0)
摘要：
6 决策树 6.1 结构 一个根节点：样本全集 若干个内部结点：对应于属性测试 若干个叶结点：决策结果 ==属性代表了各个结点，各个结点的连接线代表属性的取值== 当第一层最优划分属性选取后，在划分后的D中进行递归，一层层选取最优划分属性，最后形成决策树 只有一层划分的决策树称为决策树桩 6.2 目 阅读全文
posted @ 2019-09-19 12:17
jestland
阅读(893)
评论(0)
推荐(0)
摘要：
7 神经网络 解决特征数量过多，线性回归与逻辑回归算法参数过多的情况 7.1 M P神经元模型 神经元接收其他n个神经元传递的输入信号， 加权和作为总输入值 ，与神经元阈值比较，再通过激活函数处理产生神经元输出，激活函数为sigmoid函数，是设定在神经元上的函数， 典型的激活函数为sigmoid函 阅读全文
posted @ 2019-09-19 12:17
jestland
阅读(489)
评论(0)
推荐(0)
摘要：
5 正则化 给参数增加惩罚项，达到简化假设函数，降低过拟合的目的 5.1 正则化线性回归 5.1.1 正则化代价函数 $$ J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}(h_{\theta}(x^{(i)}) y^{(i)})^{2}+\lambda \su 阅读全文
posted @ 2019-09-19 12:13
jestland
阅读(172)
评论(0)
推荐(0)
摘要：
4 逻辑回归 逻辑回归的假设函数为sigmoid函数，把较大范围变化的输出值挤压到(0，1)内，因此也被称为挤压函数 $$ h_\theta(x)=\frac{1}{1+e^{ \theta^Tx}}\tag{4.1} $$ $h_\theta(x)$代表输入为x时y=1的概率 4.1 决策边界 若 阅读全文
posted @ 2019-09-19 12:12
jestland
阅读(177)
评论(0)
推荐(0)
摘要：
3 线性回归 3.1 最小二乘法 试图找到一条直线，使所有样本到直线上的欧式距离之和最小 3.2 代价函数 cost function ，往往令其最小化 单变量线性回归假设函数 $$ h(\theta)=\theta_0+\theta_1x\tag{3.1} $$ 3.2.1 梯度下降法 不停进行$ 阅读全文
posted @ 2019-09-19 12:11
jestland
阅读(205)
评论(0)
推荐(0)
摘要：
2 模型评估 2.1 数据集划分为训练集与测试集方法 常按照7：3的比例选择，若数据已经随机的话就取前70%作为样本集 2.1.1 留出法 直接将数据集D划分为两个 互斥 的集合 划分应保持数据分布一致性 存在多种划分方式，采用若干次随机划分、重复进行实验评估后取平均值作为评估结果 常见做法：2/3 阅读全文
posted @ 2019-09-19 12:11
jestland
阅读(284)
评论(0)
推荐(0)
摘要：
1 术语 1.1 泛化 学习得到的 模型适用于新样本的能力 称为 泛化能力 1.2 过拟合 关键障碍 学习器能拟合样本所有数据，即把 训练样本自身的一些特点当作所有潜在样本的一般性质 ，导致泛化能力下降的现象。 即假设函数中特征变量过多 只可缓解，无法消除 常见导致因素：学习能力过好 1.2.1 解 阅读全文
posted @ 2019-09-19 12:10
jestland
阅读(96)
评论(0)
推荐(0)
摘要：
0 复习 0.1 矩阵论 0.1.1 矩阵的逆 只有方阵才存在逆矩阵 不存在逆矩阵的矩阵称为奇异矩阵 检查特征量中是否存在能被其他特征量表示的特征，有则删去 样本数若少于特征量则不可逆，可用 正则化 解决 0.1.2 向量内积 0.1.3 正定矩阵与半正定矩阵 正定矩阵：给定一大小维$n\times 阅读全文
posted @ 2019-09-19 12:09
jestland
阅读(185)
评论(0)
推荐(0)
摘要：
不少同学在使用Word写论文时，将matlab生成的图保存为jpg格式，然后粘贴到文档中。word背景为纯白色，jpg图的缺点没有显示，实际上会存在很大白边，以及放大后不清晰的问题，很影响PPT展示和汇报。解决方法： 1. matlab保存时尽量保存为fig格式，需要用到图片时打开后，直接用matl 阅读全文
posted @ 2019-09-19 12:00
jestland
阅读(1508)
评论(0)
推荐(0)
浙公网安备 33010602011771号