摘要：【静态经验】 1. ResNet-50 3D，#param大约30+M，kinetics-400，dropout使用0.2，weight decay使用5e-4，momentum 0.9。 2. ResNet-23 2D，#param大约11M，kinetics-400，dropout使用0.5，w 阅读全文

摘要：Batch Normalization：对一个mini batch的样本，经过一个nueron（或filter）后生成的feature map中的所有point进行归一化。（纵向归一化） Layer Normalization：对单个样本，经过一个卷积层的所有neuron（或filter）后生成的f 阅读全文

摘要：【监视IO】 Linux18.04自带工具sysstat，其中的iostat可以用于观察IO情况。Linux16.04系统没有默认安装，需要手动安装，安装sysstat时需要下载新的内核（我的原本是143，下载了一个150）。 常用指令： 【监视内存】 htop, top, free 【监视CPU】 阅读全文

摘要：其中： total：代表内存总大小； used：表示使用的实际内存大小； free：剩余物理内存大小（未分配、纯剩余）； share：共享内存大小、无需关注； buff/cache：缓冲（缓冲如：cpu到io硬盘，硬盘写入速度慢 需要先将一部分数据缓存到内存）和缓存（如：io硬盘到cpu，从硬盘读取 阅读全文

摘要：Pytorch中的BatchNorm的API主要有： 一般来说pytorch中的模型都是继承nn.Module类的，都有一个属性trainning指定是否是训练状态，训练状态与否将会影响到某些层的参数是否是固定的，比如BN层或者Dropout层。通常用model.train()指定当前模型model 阅读全文