摘要： 1. 全连接层：主要用于分类，把分布式特征映射到样本标记空间。全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。全连接层中的权值矩阵Wi的每一行相当于一个分类模版，xi与Wi矩阵乘法，即可得到xi与每一个模板的匹配度，从中选取得分最高的匹配模板。 在 CNN 结构中，经多 阅读全文

摘要： 1. 人工神经网络：由输入层（input latyer）、隐藏层（hidden layer）、输出层（output layer）组成 神经网络的层数：输入层不计入神经网络的层数 比如：图1左边是2层，右边是3层 2. 人工神经网络的运行： ①输入：x作为输入，或者上一层的输出 / 计算结果作为输入； 阅读全文

摘要： 1. 误差反向传播算法（Back Propagation）： ①将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果，这就是前向传播过程。②由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；③在反向传播的 阅读全文

摘要： 1. 梯度：对于一元函数，梯度是导数/斜率；对于多元函数，梯度是由偏导数组成的向量 梯度的方向：是函数在给定点上升最快的方向 梯度的反方向：是函数在给定点下降最快的方向 多元函数的梯度：（偏导） 2. 梯度下降：对于给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 函数在某一点处 阅读全文

摘要： 1. 正则化：通常在损失函数后加上一项正则化项，对模型进行干扰，以达到防止过拟合，增加模型的泛化性的目的 正则化：L1正则化 、L2正则化（权重衰减） ①L1正则化 ||w||1：权重矩阵W中各元素的绝对值之和，主要是为了构建稀疏矩阵，保留必要的特征向量，筛选掉不必要的特征向量 稀疏矩阵是指的是大多 阅读全文

摘要： 1. softmax 损失函数：归一化指数函数，可以将一个K维向量z“压缩”到另一个K维实向量σ(z)中，使每一个元素的范围在(0,1)之间，并且所有元素的和为1。 softmax loss包含三个部分：指数化、归一化、取-log(x) ①指数化：是指将一个样本中各个分类的得分指数化，使得各分类的得 阅读全文

摘要： 1. SVM 损失：在一个样本中，对于真实分类与其他每各个分类，如果真实分类所得的分数与其他各分类所得的分数差距大于或等于安全距离，则真实标签分类与该分类没有损失值；反之则需要计算真实分类与该分类的损失值； 真实分类与其他各分类的损失值的总和即为一个样本的损失值 ①即真实标签分类所得分数大于等于该分 阅读全文

摘要： 1. 线性分类器：通过线性映射，将数据分到对应的类别中 ①线性函数：f（xi​, W, b）= W * xi ​+ b W为权值（weights），b为偏移值（bias vector），xi为数据 假设每个图像数据被拉长为一个长度为D的列向量，其大小为[D x 1]；W是大小为[K x D]的矩阵， 阅读全文

摘要： 1. KNN分类算法：根据距离一个样本最近的k个样本，判断该样本属于那一类；一个样本i与距离样本i最近的k个样本归属于同一类，如果k个样本属于不同的分类，则样本i属于k个中大多数样本所属的那一类 ①距离的定义：分为两种 L1：曼哈顿距离 L2：欧氏距离 ②K：k=1时，退化为最邻近算法；应存在一个k 阅读全文

摘要： ①只删除一个元素： vector<int> num; for(vector<int>::iterator iter=num.begin();iter!=num.end();iter++){ //从vector中删除指定的某一个元素 if(*iter==k){ num.erase(iter); bre 阅读全文