sy

摘要： https://www.cnblogs.com/chuxiuhong/p/6132814.html 阅读全文

摘要： 为了帮助提高Pytorch的训练效率，英伟达提供了混合精度训练工具Apex。号称能够在不降低性能的情况下，将模型训练的速度提升2-4倍，训练显存消耗减少为之前的一半。该项目开源于：https://github.com/NVIDIA/apex ,文档地址是：https://nvidia.github. 阅读全文

摘要： 有空时候把代码上传github 阅读全文

摘要： 正则化：凡是可以减少泛化误差而不是减少训练误差的方法都是正则化方法。 在神经网络中参有两类，w叫权重，b叫偏置，w（权重）其实是模型里面未知数的系数，其取值情况决定了模型曲线什么样子，b的取值只会改变模型平移情况，L1L2正则化只针对w进行正则化处理。 L1L2是指L1L2范数，范数理解为把”空间中 阅读全文

摘要： VGG： 这个是VGG的网络模型架构： VGG( (features): Sequential( (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (1): ReLU(inplace=True) (2): Co 阅读全文

摘要： Pytorch GPU运算过程中会出现：“cuda runtime error(2): out of memory”这样的错误。通常，这种错误是由于在循环中使用全局变量当做累加器，且累加梯度信息的缘故，用官方的说法就是："accumulate history across your training 阅读全文

摘要： 一、神经网络 1、人工神经元 神经网络由很多的节点构成，这些节点又叫做人工神经元（或神经元） 他的结构如图所示： x1~xn是输入信号 wij代表从神经元j到神经元i的连接权值 θ表示一个阈值 ( threshold )，或称为偏置( bias ) 神经元i的输出与输入的关系表示为： yi=f(ne 阅读全文

摘要： 评价神经网络好坏的一个重要一句就是： 以最少的代价使神经网络获得最好的准确率。 关于特征：特征就是对己而言，特征是某些突出性质的表现，于他而言，特征是区分事物的关键，所以，当我们要对事物进行类或者识别，我们实际上就是提取‘特征’，通过特征的表现进行判断。 特征选择（feature selection 阅读全文

摘要： 神经网络的基础模型是感知机，因此神经网络也可以叫做多层感知机，简称MLP。单层感知机叫做感知机，多层感知机约等于人工神经网络（ANN） **表征学习（**representation learning）： 机器能够提取有意义的特征而无需人为干预。经典的例子就是Autoencoder，主要就是由加码器 阅读全文

摘要： 在我的机子上最开始使用pip或者使用conda的方法无法安装tensorflow，会显示一大堆的下载问题，当用豆瓣源进行下载的时候也不能解决。 试了五六种方法，大部分都是来创造一个单独的环境。 首先然后在Anaconda Prompt中输入：conda create -n tensorflow py 阅读全文