Blair

摘要： Pretext task 可以理解为是一种为达到特定训练任务而设计的间接任务。 比如，要训练一个网络来对 ImageNet 分类，可以表达为 $f_{\theta}(x): x \rightarrow y$ ，目的是获得具有语义特征提取/推理能力的 $\theta$ 。假设有另外一个任务 (Pret 阅读全文

摘要： 每次只选取1个样本，然后根据运行结果调整参数，这就是著名的随机梯度下降（SGD），而且可称为批大小（batch size）为 1 的 SGD。 批大小，就是每次调整参数前所选取的样本（称为mini-batch或batch）数量： 如果批大小为N，每次会选取N个样本，分别代入网络，算出它们分别对应的参 阅读全文

摘要： 1 前言 前馈神经网络（feedforward neural network）是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始，目前理论研究和实际应 阅读全文

摘要： 1 BP算法的推导 图1 一个简单的三层神经网络 图1所示是一个简单的三层（两个隐藏层，一个输出层）神经网络结构，假设我们使用这个神经网络来解决二分类问题，我们给这个网络一个输入样本，通过前向运算得到输出。输出值的值域为，例如的值越接近0，代表该样本是“0”类的可能性越大，反之是“1”类的可能性大。 阅读全文

摘要： 前言 学习本章节前需要先学习： 《机器学习——最优化问题：拉格朗日乘子法、KKT条件以及对偶问题》 《机器学习——感知机》 1 摘要： 支持向量机（SVM）是一种二类分类模型，其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大，间隔最大使它有别于感知机，支持向量机也可通过核技巧 阅读全文

摘要： 1 Adaboost 的提出 1990年，Schapire最先构造出一种多项式级的算法，即最初的Boost算法; 1993年，Drunker和Schapire第一次将神经网络作为弱学习器，应用Boosting算法解决OCR问题; 1995年，Freund和Schapire提出了Adaboost(Ad 阅读全文

摘要： 1 前言 集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较 阅读全文

摘要： 1 导数定义 导数和微分的概念 $f'({x_0})=\underset{\bigtriangleup x \longrightarrow 0}{lim} \ {\large \frac{f(x)-f(x_0)}{x-{{x_0}}}} $ 或者： $f'({x_0})=\underset{ x \ 阅读全文

摘要： 1 前言 PCA（Principal Component Analysis）是一种常用的无监督学习方法，是一种常用的数据分析方法。 PCA 通过利用 正交变换 把由 线性相关变量 表示的观测数据转换为少数几个由 线性无关变量 表示的数据，线性无关的变量称为主成分，可用于提取数据的主要特征分量，常用于 阅读全文

摘要： 1 前言 极大似然估计方法(Maximum Likelihood Estimate，MLE)也称为最大概似估计或最大似然估计，是求估计的另一种方法，极大似然估计是1821年首先由德国数学家高斯(C. F. Gauss)提出，但是这个方法通常被归功于英国的统计学家。罗纳德·费希尔(R. A. Fish 阅读全文