xxai

摘要： 1 交叉熵(Cross Entropy) 考虑一种情况，对于一个样本集，存在两个概率分布 $p(x)$ 和 $q(x)$，其中 $p(x)$ 为真实分布，$q(x)$ 为非真实分布。基于真实分布 $p(x)$ 我们可以计算这个样本集的信息熵也就是编码长度的期望为： $H(p)=-\sum \limi 阅读全文

摘要： 论文信息 论文标题：Improved Baselines with Momentum Contrastive Learning论文作者：Kaiming He、Haoqi Fan、 Yuxin Wu、 Saining Xie、 Ross Girshick论文来源：2020 CVPR论文地址：downl 阅读全文

摘要： 论文信息 论文标题：Momentum Contrast for Unsupervised Visual Representation Learning论文作者：Kaiming He、Haoqi Fan、 Yuxin Wu、 Saining Xie、 Ross Girshick论文来源：2020 CV 阅读全文

摘要： Pretext task 可以理解为是一种为达到特定训练任务而设计的间接任务。 比如，要训练一个网络来对 ImageNet 分类，可以表达为 $f_{\theta}(x): x \rightarrow y$ ，目的是获得具有语义特征提取/推理能力的 $\theta$ 。假设有另外一个任务 (Pret 阅读全文

摘要： 每次只选取1个样本，然后根据运行结果调整参数，这就是著名的随机梯度下降（SGD），而且可称为批大小（batch size）为 1 的 SGD。 批大小，就是每次调整参数前所选取的样本（称为mini-batch或batch）数量： 如果批大小为N，每次会选取N个样本，分别代入网络，算出它们分别对应的参 阅读全文

摘要： 1 前言 前馈神经网络（feedforward neural network）是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始，目前理论研究和实际应 阅读全文

摘要： 1 BP算法的推导 图1 一个简单的三层神经网络 图1所示是一个简单的三层（两个隐藏层，一个输出层）神经网络结构，假设我们使用这个神经网络来解决二分类问题，我们给这个网络一个输入样本，通过前向运算得到输出。输出值的值域为，例如的值越接近0，代表该样本是“0”类的可能性越大，反之是“1”类的可能性大。 阅读全文

摘要： 前言 学习本章节前需要先学习： 《机器学习——最优化问题：拉格朗日乘子法、KKT条件以及对偶问题》 《机器学习——感知机》 1 摘要： 支持向量机（SVM）是一种二类分类模型，其基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大，间隔最大使它有别于感知机，支持向量机也可通过核技巧 阅读全文

摘要： 1 Adaboost 的提出 1990年，Schapire最先构造出一种多项式级的算法，即最初的Boost算法; 1993年，Drunker和Schapire第一次将神经网络作为弱学习器，应用Boosting算法解决OCR问题; 1995年，Freund和Schapire提出了Adaboost(Ad 阅读全文

摘要： 1 前言 集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。 集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较 阅读全文