摘要：
简单认识Adam优化器 一、总结 一句话总结： Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。 1、SGD 算法在科研和工程中的应用？ 基于随机梯度下降（SGD）的优化算法在科研和工程的很多领域里都是极其核心的。很多理论或工程问题都可以转化为对目 阅读全文
posted @ 2020-07-24 22:03
范仁义
阅读(4215)
评论(0)
推荐(0)
摘要：
Adam优化算法 一、总结 一句话总结： Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。 1、Adam 算法和传统的随机梯度下降不同？ 1、随机梯度下降保持单一的学习率（即alpha）更新所有的权重，学习率在训练过程中并不会改变。 2、而Adam 阅读全文
posted @ 2020-07-24 21:58
范仁义
阅读(767)
评论(0)
推荐(0)
摘要：
反向传播算法 一、总结 一句话总结： 【误差反向传播】：反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。 1、“正向传播”求损失，“反向传播”回传误差？ “正向传播”求损失，“反向传播 阅读全文
posted @ 2020-07-24 21:06
范仁义
阅读(791)
评论(0)
推荐(0)
摘要：
tensorflow2知识总结 5、softmax多分类 一、总结 一句话总结： softmax多分类适用于神经网络输出层是一个多分类的输出的情况 1、tensorflow的输出层注意？ 如果输出层是一个连续的数字，就不进行其它操作，直接输出 如果输出层是一个二分类（是和否），可以对输出层做一个si 阅读全文
posted @ 2020-07-24 18:51
范仁义
阅读(1033)
评论(0)
推荐(0)
摘要：
详解one-hot编码 一、总结 一句话总结： a、One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。 b、One-Hot编码实例：北京[1,0,0]，上海[0,1,0]，深圳[0,0,1] 1、为什么需要 阅读全文
posted @ 2020-07-24 05:37
范仁义
阅读(1226)
评论(0)
推荐(0)
摘要：
softmax与多分类 一、总结 一句话总结： sotfmax 函数在机器学习和深度学习中有着广泛的应用， 主要用于多分类问题。 1、softmax 函数 定义？ A、Si=e^(Vi)/(Σe^(Vj)) B、也就是该元素的指数 除以 所有元素的指数和，取指数是为了使差别更大。 C、于是该数组的每 阅读全文
posted @ 2020-07-24 04:54
范仁义
阅读(424)
评论(0)
推荐(0)
摘要：
自动编码器（Autoencoder） 一、总结 一句话总结： autoencoder是一种无监督的学习算法，主要用于数据的降维或者特征的抽取，在深度学习中，autoencoder可用于在训练阶段开始前，确定权重矩阵W的初始值。 二、自动编码器（Autoencoder） 转自或参考：自动编码器（Aut 阅读全文
posted @ 2020-07-24 03:05
范仁义
阅读(821)
评论(0)
推荐(0)
摘要：
机器学习性能度量 Equal Error Rate （EER） 一、总结 一句话总结： A、EER（the Equal Error Rate）是（一个分类器的）ROC曲线（接受者操作特性曲线）中错分正负样本概率相等的点（所对应的错分概率值）。 B、这个点就是ROC曲线与ROC空间中对角线（[0,1] 阅读全文
posted @ 2020-07-24 03:01
范仁义
阅读(4051)
评论(0)
推荐(0)
摘要：
自适应增强(Adaptive Boosting) 一、总结 一句话总结： AdaBoost，是英文“Adaptive Boosting”（自适应增强）的缩写，是一种迭代提升算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器) 阅读全文
posted @ 2020-07-24 02:59
范仁义
阅读(1188)
评论(0)
推荐(0)
摘要：
特征选择常用算法综述 一、总结 一句话总结： 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好 阅读全文
posted @ 2020-07-24 02:54
范仁义
阅读(280)
评论(0)
推荐(0)
浙公网安备 33010602011771号