hywang1211

摘要： CART 剪枝 损失函数构建 在前面的章节中，我们了解到可以通过平方误差最小化准则和基尼指数最小化准则生成一颗回归树和分类树 \(T\)。但是通常在实现过程中，我们会对CART树进行剪枝以达到简化模型的目的。同决策树的剪枝类似，在CART树剪枝过程中，我们也需要计算子树\(T\)的损失函数： \[\ 阅读全文

摘要： 残差神经网络 一些前置知识 神经网络的层数 神经网络的层数或者神经网络的深度指的是隐藏层数+1(输出层)。如下图所示，它是一个三层的网络。[通常情况下计算神经网络的层数时不包括池化层] low/mid/high-level features 在神经网络中low/mid/high-level feat 阅读全文

摘要： AlexNet 一些前置知识 top-1 和top-5错误率 top-1错误率指的是在最后的n哥预测结果中，只有预测概率最大对应的类别是正确答案才算预测正确。 top-5错误率指的是在最后的n个预测结果中，只要预测概率最大的前五个中含有正确答案就算预测正确。 max-pooling层 最大池化又叫做 阅读全文

摘要： Matlab进阶绘图 在这次的绘图练习中，我们需要考虑一次性将所有数据文件逐一读入，然后对每幅图图片进行放大处理。 参数设置 这里包括每幅图的标题，图例，读入文件的名称，等等 title_d = {'SMOP1','SMOP3','SMOP7','SMOP8'}; %指定每幅图的标题 figname 阅读全文

摘要： Cart算法 Cart是Classification and regression tree的缩写，即分类回归树。它和前面的ID3， C4.5等算法思想一致都是通过对输入空间进行递归划分并确定每个单元上预测的概率分布，进而进行回归和分类任务。只不过由于任务的不同， 所以回归树和分类树的划分准则并不相 阅读全文

摘要： 决策树的生成 有了信息增益和信息增益比，我就可以以此衡量特征的相对好坏，进而可以用于决策树的生成。相对应的基于信息增益计算的方法所生成的决策树的算法我们叫做ID3算法，而基于信息增益的算法我们叫做C4.5，二者唯一的区别就在于一个使用信息增益衡量特征好坏而另外一个使用信息增益比，因此本文重点讲述ID 阅读全文

摘要： 特征选择 特征选择问题 特征选择顾名思义就是对特征进行选择性截取，剔除掉冗余特征。这样能够减少决策树的复杂度。 比如在上面两图中，左图通过年龄来对样本进行分类，而右图通过工作对特征进行分类，二者究竟孰好孰坏，这是需要进行比较的。一个非常直接的想法就是仅用选择的特征去训练模型，然后得出用各个特征的准确 阅读全文

摘要： 决策树 总体介绍 决策树模型顾名思义就是通过一条条的决策来将样本划分来从而达到分类或回归的目的。决策树模型呈树形结构，下图粗略展示了一个分类决策树 其中圆表示特征，方块表示叶子节点也是最终分类的类别，我们通过利用样本中高价值的特征(房子拥有情况，工作的拥有情况)来构建这么一个决策树，那么每当有新样本 阅读全文

摘要： Matlab图形属性检查器 和其他语言的绘图不一样的是，Matlab允许我们通过非编程的方式来自定义调整绘图。下面介绍Matlab图形的构成以及几种调整绘图时的常用操作。 图形构成 什么是Figure 当我们使用绘图函数创建图形时，总会弹出一个窗口以显示我们绘制的图形，这整个窗口我们把它叫做Figu 阅读全文

摘要： 朴素贝叶斯法 朴素贝叶斯是一种用先验概率估计后验概率的模型，通过估计先验概率得到样本和类别的近似联合概率，随后通过联合概率分布获得需要的后验概率分布进而实现分类。本次介绍的朴素贝叶斯法主要包括三块：总体思想(将后验概率转换为先验概率)、极大似然估计(使用极大似然法估计先验概率)、贝叶斯估计(使用贝叶 阅读全文