随笔分类 - 机器学习
机器视觉：MobileNet 和 ShuffleNet
摘要：虽然很多CNN模型在图像识别领域取得了巨大的成功，但是一个越来越突出的问题就是模型的复杂度太高，无法在手机端使用，为了能在手机端将CNN模型跑起来，并且能取得不错的效果，有很多研究人员做了很多有意义的探索和尝试，今天就介绍两个比较轻量级的模型 mobile net 和...
阅读全文
机器视觉：SSD Single Shot MultiBox Detector
摘要：今天介绍目标检测中非常著名的一个框架 SSD，与之前的 R-CNN 系列的不同，而且速度比 YOLO 更快。 SSD 的核心思想是将不同尺度的 feature map 分成很多固定大小的 box，然后对每个 box 做预测，既要预测该 box 所包含的 object ...
阅读全文
生成式模型 VS 判别式模型
摘要：1 定义1.1 生成式模型 生成式模型（Generative Model）会对x和y的联合分布p(x,y)建模，然后通过贝叶斯公式来求得 p(yi|x)，然后选取使得p(yi|x) 最大的 yi，即： 简单说生成式模型就是生成数据分...
阅读全文
基于CART的回归和分类任务
摘要：CART 是 classification and regression tree 的缩写，即分类与回归树。 博主之前学习的时候有用过决策树来做预测的小例子：机器学习之决策树预测——泰坦尼克号乘客数据实例，不过在那篇博客中并没有详细阐述算法的原理...
阅读全文
机器学习： K-means 聚类
摘要：今天介绍机器学习里常见的一种无监督聚类算法，K-means。我们先来考虑在一个高维空间的一组数据集，S={x1,x2,...,xN}" role="presentation" style="position: relative;">S={x1,x2,...,xN}S=...
阅读全文
机器学习：Kullback-Leibler Divergence （KL 散度）
摘要：今天，我们介绍机器学习里非常常用的一个概念，KL 散度，这是一个用来衡量两个概率分布的相似性的一个度量指标。我们知道，现实世界里的任何观察都可以看成表示成信息和数据，一般来说，我们无法获取数据的总体，我们只能拿到数据的部分样本，根据数据的部分样本，我们会对数据的整体做...
阅读全文
机器学习： 共轭梯度算法（PCG）
摘要：今天介绍数值计算和优化方法中非常有效的一种数值解法，共轭梯度法。我们知道，在解大型线性方程组的时候，很少会有一步到位的精确解析解，一般都需要通过迭代来进行逼近，而 PCG 就是这样一种迭代逼近算法。我们先从一种特殊的线性方程组的定义开始，比如我们需要解如下的线性方程组...
阅读全文
精确率、召回率、准确率与ROC曲线
摘要：精确率表示的是预测为某类样本（例如正样本）中有多少是真正的该类样本，一般用来评价分类任务模型。 比如对于一个分类模型，预测结果为A类的所有样本中包含A0个真正的A样本，和A1个不是A样本的其他类样本，那么该分类模型对于分类A的精确率就是A0/（A0+A1）。 通常来说...
阅读全文
python 实现 KNN 分类器——手写识别
摘要：1 算法概述1.1 优劣优点：进度高，对异常值不敏感，无数据输入假定缺点：计算复杂度高，空间复杂度高应用：主要用于文本分类，相似推荐适用数据范围：数值型和标称型1.2 算法伪代码（1）计算已知类别数据集中的点与当前点的距离（2）按照距离递增次序排序，选取与当前点距离最...
阅读全文
特征选择 - Filter、Wrapper、Embedded
摘要：Filter methods:information gainchi-square testfisher scorecorrelation coefficientvariance thresholdWrapper methods:recursive feature e...
阅读全文
特征工程 —— 特征重要性排序（Random Forest）
摘要：树模型天然会对特征进行重要性排序，以分裂数据集，构建分支；1. 使用 Random Forestfrom sklearn.datasets import load_bostonfrom sklearn.ensemble import RandomForestReg...
阅读全文
【论文解读】行人检测：What Can Help Pedestrian Detection?（CVPR'17）
摘要：前言本篇文章出自CVPR2017，四名作者为Tsinghua University，Peking University, 外加两名来自Megvii（旷视科技）的大佬。 文章中对能够帮助行人检测的extra features做了诸多分析，并且提出了HyperLearne...
阅读全文
scikit-learn 学习笔记-- Generalized Linear Models （三）
摘要：Bayesian regression前面介绍的线性模型都是从最小二乘，均方误差的角度去建立的，从最简单的最小二乘到带正则项的 lasso，ridge 等。而 Bayesian regression 是从 Bayesian 概率模型的角度出发的，虽然最后也会转换成一个...
阅读全文
scikit-learn 学习笔记-- Generalized Linear Models （二）
摘要：Lasso regression今天介绍另外一种带正则项的线性回归， ridge regression 的正则项是二范数，还有另外一种是一范数的，也就是lasso 回归，lasso 回归的正则项是系数的绝对值之和，这种正则项会让系数最后变得稀疏：minw12N...
阅读全文
scikit-learn 学习笔记-- Generalized Linear Models (一)
摘要：scikit-learn 是非常优秀的一个有关机器学习的 Python Lib，包含了除深度学习之外的传统机器学习的绝大多数算法，对于了解传统机器学习是一个很不错的平台。每个算法都有相应的例子，既可以对算法有个大概的了解，而且还能熟悉这个工具包的应用，同时也能熟悉 P...
阅读全文
DataFrame数据批量做线性回归
摘要：我们通常用pandas读取csv文件为DataFrame数据格式，如下图，是部分县2001年到2009年的某种作物的产量数据。我们希望求得9年的增长趋势，即求一个一元线性回归模型的斜率，这个时候便可以调用python的sklearn包中的线性回归模型计算。思路...
阅读全文
Scikit-learn方法使用总结
摘要：在机器学习和数据挖掘的应用中，scikit-learn是一个功能强大的python包。在数据量不是过大的情况下，可以解决大部分问题。近期在学习使用scikit-learn的过程中，我自己也在补充着机器学习和数据挖掘的知识。以下是我做一个总结的笔记。后续会结合竞赛实操。...
阅读全文
机器视觉：Convolutional Neural Networks, Receptive Field and Feature Maps
摘要：CNN 大概是目前 CV 界最火爆的一款模型了，堪比当年的 SVM。从 2012 年到现在，CNN 已经广泛应用于CV的各个领域，从最初的 classification，到现在的semantic segmentation， object detection，insta...
阅读全文
浙公网安备 33010602011771号