摘要： 引言 先简单回顾一下R-CNN的问题，每张图片，通过 Selective Search 选择2000个建议框，通过变形，利用CNN提取特征，这是非常耗时的，而且，形变必然导致信息失真，最终影响模型的性能。 由此引出了一系列问题 问题1：形变耗时又损失信息，为什么要形变 很简单，因为CNN的输入必须是 阅读全文

摘要： R-CNN全称为 Region-CNN，它是第一个成功地将深度学习应用到目标检测的算法，后续的改进算法 Fast R-CNN、Faster R-CNN都是基于该算法。 传统方法 VS R-CNN 传统的目标检测大多以图像识别为基础。一般是在图片上穷举出所有物体可能出现的区域框，然后对该区域框进行特征 阅读全文

摘要： 在神经网络中，有许多超参数需要设置，比如学习率，网络层数，神经元节点数 所谓超参数，就是不需要训练的参数，需要人为设定的参数。 这些超参数对模型的训练和性能都有很大影响，非常重要，那么这些超参数该怎么设定呢？ 一般我们可以根据经验来设定，但是经验毕竟有限，而且也不科学。 验证数据 在模型训练时，我们 阅读全文

摘要： SVM，中文名叫支持向量机。 在深度学习出现以前，它是数据挖掘的宠儿； SVM具有十分完整的数据理论证明，但同时理论也相当复杂。 初识SVM 同其他分类算法一样，SVM分类也是寻找合适的决策边界，为方便理解，以二分类为例。 假设存在二分类样本，我们一定可以找到一个超平面将类别分开，但是通常会存在很多 阅读全文

摘要： 线性判别分析，简称LDA，是一种线性学习方法。 常用来降维，是一种有监督的降维方法，是基于最佳分类效果的降维方法。 核心思想 给定训练样本，带label，设法将样本投影到一条直线上，使得同类样例的投影尽可能接近，异类样例的投影尽可能远离； 在对新样本进行预测时，先将其投影到这条直线上，再根据投影点的 阅读全文

摘要： 对模型进行评估时，可以选择很多种指标，但不同的指标可能得到不同的结果，如何选择合适的指标，需要取决于任务需求。 正确率与错误率 正确率：正确分类的样本数/总样本数，accuracy 错误率：错误分类的样本数/总样本数，error 正确率+错误率=1 这两种指标最简单，也最常用 缺点 1. 不一定能反 阅读全文

摘要： 特征选择顾名思义就是从众多特征中选出和目标相关的特征，它是机器学习中很重要的一个环节。 子集选择与评价 从众多特征中选出部分特征构成特征的一个子集，就叫子集选择， 子集特征是否能很好地表征目标，需要对子集特征进行评价。 子集选择可以有前向搜索、后向搜索和双向搜索三种方式。 前向搜索 假定给定特征集{ 阅读全文

摘要： 先看下ababoost和决策树效果对比 输出学习曲线 分析：随着样本数的增加，单决策树的预测精度稳定在0.5左右，是个弱分类器，而adaboost预测精度在0.85左右，明显高于单决策树，是个强分类器。 参数选择 上面的模型使用的是默认参数，其实还有优化的空间。 在集成学习中，参数调优一般是先选择框 阅读全文

摘要： sklearn中实现了adaboost分类和回归，即AdaBoostClassifier和AdaBoostRegressor， AdaBoostClassifier 实现了两种方法，即 SAMME 和 SAMME.R AdaBoostRegressor 用的 Adaboost.R2 框架参数 分类与 阅读全文

摘要： Adaboost 中文名叫自适应提升算法，是一种boosting算法。 boosting算法的基本思想 对于一个复杂任务来说，单个专家的决策过于片面，需要集合多个专家的决策得到最终的决策，通俗讲就是三个臭皮匠顶个诸葛亮。 对于给定的数据集，学习到一个较弱的分类器比学习到一个强分类器容易的多，boos 阅读全文