shelve模块、re模块
摘要：cnblogs.com/linhaifeng/articles/6384466.html#_label13 在模糊匹配时使用 一：什么是正则？ 正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。（在Python中）它内嵌在
阅读全文
posted @
2019-06-26 17:25
Manuel
阅读(205)
推荐(0)
AlexNet,VGG,GoogleNet,ResNet
摘要：AlexNet: VGGNet： 用3x3的小的卷积核代替大的卷积核，让网络只关注相邻的像素 3x3的感受野与7x7的感受野相同，但是需要更深的网络 这样使得参数更少 大多数内存占用在靠前的卷积层，大部分的参数在后面的全连接层 GoogleNet： Inception模块：设计了一个局部网络拓扑结构
阅读全文
posted @
2019-06-26 15:54
Manuel
阅读(1089)
推荐(0)
静态图与动态图的优劣
摘要：静态图只建一次，然后不断复用它，容易在图上做优化，图的效率更高 动态图每次使用时建立，不容易优化 静态图可以在磁盘中序列化，可以保存整个网络的结构，可以重载，在部署中很实用 动态图则需要重复之前的代码 动态图相比静态图代码更简洁 在tensorflow静态图中条件和循环需要特定的语法，pytorch
阅读全文
posted @
2019-06-25 21:21
Manuel
阅读(7820)
推荐(0)
pytorch中的view
摘要：https://ptorch.com/news/59.html view()相当于reshape()，其中参数若为-1表示当前的size根据其余size推断
阅读全文
posted @
2019-06-25 12:03
Manuel
阅读(194)
推荐(0)
pytorch中的forward前向传播机制
摘要：https://blog.csdn.net/u011501388/article/details/84062483
阅读全文
posted @
2019-06-25 10:24
Manuel
阅读(390)
推荐(0)
.data()与.detach()的区别
摘要：.data()和.detach()都可以获取Variable内部的Tensor，但.detach()更加安全 https://zhuanlan.zhihu.com/p/38475183
阅读全文
posted @
2019-06-24 15:11
Manuel
阅读(261)
推荐(0)
Argparse模块
摘要：https://www.jianshu.com/p/00425f6c0936 转自：https://blog.csdn.net/yy_diego/article/details/82851661 执行命令python test.py结果如下: 先导入了argparse这个包，然后包中的Argumen
阅读全文
posted @
2019-06-20 18:00
Manuel
阅读(111)
推荐(0)
pytorch代码调试工具
摘要：https://github.com/zasdfgbnm/TorchSnooper pip install torchsnooper 在函数前加装饰器@torchsnooper.snoop()
阅读全文
posted @
2019-06-19 21:29
Manuel
阅读(368)
推荐(0)
迁移学习
摘要：Transfer Learning 当只有一个小的数据集时，修改最后一层的特征到最后的分类输出之间的全连接层，只需要重新随机初始化这部分矩阵，冻结前面层的权重，相当于只训练一个线性分类器。 当有一个稍微大的数据集时，可以微调整个网络，一般将学习率调低来训练，因为最初的网络参数是在Imagenet上收
阅读全文
posted @
2019-06-19 10:38
Manuel
阅读(177)
推荐(0)
模型正则化，dropout
摘要：正则化 在模型中加入正则项，防止训练过拟合，使测试集效果提升 Dropout 每次在网络中正向传播时，在每一层随机将一些神经元置零（相当于激活函数置零），一般在全连接层使用，在卷积层一般随机将整个通道置零而不是单个神经元 Dropout 的两种解释： 1.dropout避免了特征之间的相互适应，假如
阅读全文
posted @
2019-06-19 10:25
Manuel
阅读(913)
推荐(0)
优化器，SGD+Momentum；Adagrad；RMSProp；Adam
摘要：Optimization 随机梯度下降（SGD）： 当损失函数在一个方向很敏感在另一个方向不敏感时，会产生上面的问题，红色的点以“Z”字形梯度下降，而不是以最短距离下降；这种情况在高维空间更加普遍。 SGD的另一个问题：损失函数容易卡在局部最优或鞍点（梯度为0）不再更新。在高维空间鞍点更加普遍 当模
阅读全文
posted @
2019-06-17 17:38
Manuel
阅读(781)
推荐(0)
Batch Normalization批量归一化
摘要：BN的深度理解：https://www.cnblogs.com/guoyaohua/p/8724433.html BN: BN的意义：在激活函数之前将输入归一化到高斯分布，控制到激活函数的敏感区域，避免激活函数的梯度饱和导致梯度消失，增加学习效率 （1）加速收敛（2）控制过拟合，可以少用或不用Dro
阅读全文
posted @
2019-06-14 16:25
Manuel
阅读(234)
推荐(0)
数据预处理；初始化权重
摘要：数据预处理： 一般用0均值化数据，若所有输入都是正的，则得到权重上的梯度也都是正的，会得到次最优的优化梯度 通过标准差来归一化 初始化权重： 如果以0（或相同的值）为所有权重的初始值，会导致所有的神经元将做同样的事，每个神经元将在输入数据上有相同的操作输出相同的值，得到相同的梯度，参数更新也相同，得
阅读全文
posted @
2019-06-12 11:35
Manuel
阅读(536)
推荐(0)
激活函数，梯度消失
摘要：激活函数： 激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网
阅读全文
posted @
2019-06-11 20:35
Manuel
阅读(1232)
推荐(0)
卷积
摘要：三层的神经网络： 全链接层： 卷积层与全连接层的主要差别：卷积层可以保全空间结构 图像卷积： 输出尺寸与输入尺寸、步长Stride间的关系： 为了得到想要的输出尺寸，常用0作边界填充或扩充原有数据或复制原有数据： 例： 输出尺寸计算： 卷积层参数个数计算： 总结： 1
阅读全文
posted @
2019-06-10 17:20
Manuel
阅读(147)
推荐(0)
pytorch torch.Stroage();torch.cuda()
摘要：转自：https://ptorch.com/news/52.html torch.Storage是单个数据类型的连续的一维数组，每个torch.Tensor都具有相同数据类型的相应存储。他是torch.tensor底层数据结构,他除了像Tensor一样定义数值，还可以直接把文件映射到内存中进行操作，
阅读全文
posted @
2019-06-10 12:27
Manuel
阅读(318)
推荐(0)
梯度下降、反向传播原理，计算图
摘要：梯度下降原理及其过程：https://blog.csdn.net/qq_41800366/article/details/86583789 有限差分估计梯度： 写起来简单，但速度慢而且结果区分度不大 解析梯度： 计算图： 反向传播工作机制： 从输出开始乘以每个节点的本地梯度，一直传递到输入 梯度从后
阅读全文
posted @
2019-06-09 18:29
Manuel
阅读(2154)
推荐(1)
Deep Learning ——Yann LeCun，Yoshua Bengio&Geoffrey Hinton
摘要：引言： 深度学习的本质是用多层的神经网络找到一个可以被学习的复杂的函数实现语音识别，图像识别等功能。 多层神经网络的结构： 多层神经元的组成，每一层的输入都等于上一层的输出。 应用领域：cv，nlp 监督学习： 需要计算一个目标函数来测量出实际输出与预计输出之间的误差（距离），机器通过修改其参数来减
阅读全文
posted @
2019-06-04 10:28
Manuel
阅读(560)
推荐(1)
numpy模块
摘要：numpy属性： ndim--维度，shape--行数和列数，size--元素个数 数组合并与拆分 copy() 广播机制： 当数组跟一个标量进行计算时，标量需要根据数组的形状进行扩展，然后执行运算。该扩展过程称为“广播” 常用API： bincount():计算索引出现次数 argmax():返回
阅读全文
posted @
2019-06-01 12:41
Manuel
阅读(152)
推荐(0)
浙公网安备 33010602011771号