那抹阳光1994

摘要： 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的， 这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。 怎么知道训练数据和测试数据是独立同分布的呢? 训练集训练出了模型，测试集准确性比较低??? 阅读全文

摘要： 如果网络模型model中含有BN层，则在预测时应当将模式切换为评估模式，即model.eval()。 评估模拟下BN层的均值和方差应该是整个训练集的均值和方差，即 moving mean/variance。 训练模式下BN层的均值和方差为mini-batch的均值和方差，因此应当特别注意。 阅读全文

摘要： pytorch 的 Variable 对象中有两个方法，detach和 detach_ : detach 官方文档中，对这个方法是这么介绍的。 返回一个新的从当前图中分离的 Variable。 返回的 Variable 永远不会需要梯度 如果 被 detach 的Variable volatile= 阅读全文