随笔分类 -  深度学习

摘要:解决CUB reduce errorinvalid configuration argument问题 在写TensorFlow代码时遇到报错 在网上查阅说是GPU利用率不高,因为我的代码有一段计算nms的特别耗时,尝试各种方法未能解决,包括将GPU代码移到CPU运算,减少计算量。 就在要放弃的时候头 阅读全文
posted @ 2019-06-19 09:52 会飞的两棵树 阅读(1222) 评论(0) 推荐(0)
摘要:Relu不适合梯度过大的的输入 Relu是我们在训练网络时常用的激活函数之一(对我而言没有之一)。然而最近发现Relu太脆弱了,经常由于输入的函数梯度过大导致网络参数更新后,神经元不再有激活功能。特别是网络在训练刚开始的时候(如果在使用Focal loss,这种现象更容易发生)。 在这种情况下,或许 阅读全文
posted @ 2019-05-25 21:00 会飞的两棵树 阅读(2279) 评论(0) 推荐(0)
摘要:tensorboard 有一个良好的命名习惯以时间命名每一个文件夹,例如 20190523_081232 ''' from datetiome import datetime dir = os.path.join('tensorboard',datetime.now().strftime("%Y%m 阅读全文
posted @ 2019-05-23 11:23 会飞的两棵树 阅读(1021) 评论(0) 推荐(0)
摘要:"我们只是大佬的搬运工" 1、log loss 2、WBE loss 带权重的交叉熵 3、Focal loss 容易过拟合?我在VGG16上做过实验(没有BN层),发现网络在训练集上的性能直线上升,但是验证集却下降,不知是不是BN层缺失的原因 4、DIce loss 对于肿块太小的梯度容易变化剧烈 阅读全文
posted @ 2019-05-22 18:33 会飞的两棵树 阅读(4131) 评论(0) 推荐(0)