随笔分类 - 深度学习
摘要:解决CUB reduce errorinvalid configuration argument问题 在写TensorFlow代码时遇到报错 在网上查阅说是GPU利用率不高,因为我的代码有一段计算nms的特别耗时,尝试各种方法未能解决,包括将GPU代码移到CPU运算,减少计算量。 就在要放弃的时候头
阅读全文
摘要:Relu不适合梯度过大的的输入 Relu是我们在训练网络时常用的激活函数之一(对我而言没有之一)。然而最近发现Relu太脆弱了,经常由于输入的函数梯度过大导致网络参数更新后,神经元不再有激活功能。特别是网络在训练刚开始的时候(如果在使用Focal loss,这种现象更容易发生)。 在这种情况下,或许
阅读全文
摘要:tensorboard 有一个良好的命名习惯以时间命名每一个文件夹,例如 20190523_081232 ''' from datetiome import datetime dir = os.path.join('tensorboard',datetime.now().strftime("%Y%m
阅读全文
摘要:"我们只是大佬的搬运工" 1、log loss 2、WBE loss 带权重的交叉熵 3、Focal loss 容易过拟合?我在VGG16上做过实验(没有BN层),发现网络在训练集上的性能直线上升,但是验证集却下降,不知是不是BN层缺失的原因 4、DIce loss 对于肿块太小的梯度容易变化剧烈
阅读全文

浙公网安备 33010602011771号