深度学习 - 随笔分类 - 侯凯

tf更新tensor/自定义层

摘要：在Keras中不支持自定义梯度（反向传播），TF下实现又好麻烦，尴尬，我去学习下Pythorch啦阅读全文

posted @ 2019-01-29 11:12 侯凯阅读(708) 评论(0) 推荐(0) 编辑

tf训练OTSU

摘要：在整个训练的过程中，我们观察到几个问题：不要用自己写的sigmod实现，反向传播会越界；最后输出层不要有relu；有些函数导数为0(无法反向传播) 阅读全文

posted @ 2019-01-24 20:45 侯凯阅读(626) 评论(0) 推荐(0) 编辑

TF常用知识

摘要：命名空间及变量共享阅读全文

posted @ 2019-01-23 10:55 侯凯阅读(848) 评论(0) 推荐(0) 编辑

摘要：以典型的分类问题为例，来梳理模型的训练过程。训练的过程就是问题发现的过程，一次训练是为下一步迭代做好指引。阅读全文

posted @ 2019-01-04 18:07 侯凯阅读(13068) 评论(0) 推荐(0) 编辑

摘要：学术界一直困惑的点是"如何让看似黑盒的CNN模型说话"，即对它的分类结果给出解释。这里的解释是指，让模型告诉我们它是通过图片的哪些像素做出判断的，并不是深度学习理论层面的解释。阅读全文

posted @ 2018-12-31 12:24 侯凯阅读(1927) 评论(0) 推荐(1) 编辑

摘要：深度学习模型训练的过程本质是对weight（即参数W）进行更新，这需要每个参数有相应的初始值。阅读全文

posted @ 2018-12-22 12:48 侯凯阅读(855) 评论(1) 推荐(0) 编辑

摘要：“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》阅读全文

posted @ 2018-12-22 12:47 侯凯阅读(2541) 评论(0) 推荐(0) 编辑

范数及其应用

摘要：范数在机器学习中的应用阅读全文

posted @ 2018-12-22 12:45 侯凯阅读(4398) 评论(0) 推荐(1) 编辑

摘要：着重介绍hige loss 和 softmax loss。阅读全文

posted @ 2018-12-22 12:42 侯凯阅读(1412) 评论(0) 推荐(0) 编辑

TF的模型文件

摘要：当然，还有一点需要注意，并非所有的TensorFlow模型都能将graph输出到meta文件中或者从meta文件中加载进来，如果模型有部分不能序列化的部分，则此种方法可能会无效。阅读全文

posted @ 2018-09-29 15:36 侯凯阅读(1486) 评论(0) 推荐(0) 编辑

Word Embedding/RNN/LSTM

摘要：Embedding Layer是与特定自然语言处理上的神经网络模型联合学习的单词嵌入。阅读全文

posted @ 2018-09-26 14:31 侯凯阅读(8367) 评论(0) 推荐(0) 编辑

摘要：不同的模型在cpu和gpu下的时间差异较大，一般来说gpu会比cpu快5-20倍。我们选用了最常用的inception v3的分类模型，输入图片尺寸为：3x299x299。阅读全文

posted @ 2018-09-18 21:25 侯凯阅读(3907) 评论(0) 推荐(0) 编辑

庖丁解牛