随笔分类 -  dl

adam 参数解释
摘要：adam 参数解析 参考 https://zhuanlan.zhihu.com/p/91166049 https://zhuanlan.zhihu.com/p/32626442 伪代码 参数解释 Mt Mt 提供了需要增大学习率的参数加速训练的能力. *. 累计的一阶动量(梯度)越大 代表在这个方向 阅读全文
posted @ 2020-09-03 20:39 bugfree 阅读(4586) 评论(0) 推荐(0)
tensorflow share embedding feature column
摘要：需求 多个feature column列需要进行embedding, 且embedding参数共享, 并共同更新embedding参数. 操作 tensorflow 1.13 中的embedding feature column, share embedding columns 仅支持从存储的tf 阅读全文
posted @ 2019-03-17 17:04 bugfree 阅读(2414) 评论(0) 推荐(0)
tensorflow feature column
摘要：功能 通过tensorflow 预定义的feature column 达到特征处理的功能. 工作流程: 1. tesnsorflow dataset 产生迭代器返回解析后的tensor dict (即input_fn) 2. 预定义 tensor dict 中(key, tensor) 的转化方式, 阅读全文
posted @ 2019-03-17 16:54 bugfree 阅读(1551) 评论(0) 推荐(0)
tensorflow 调试模块tfdbg
摘要：有时间近期学习一下。 调模型出现NAN的情况： https://github.com/lc222/MPCNN sentence similarity tensorflow 一个样例。 另外 之前在pair wise的损失函数（自己手写）时也出现过NAN。 个人感觉一个容易出现NAN的地方在于loss 阅读全文
posted @ 2018-05-17 20:45 bugfree 阅读(186) 评论(0) 推荐(0)
siamese lstm network
摘要：最近在复现ubuntu dialogue corpus 中用到的一些语义匹配模型的方法。 先是试了试siamese lstm network。模型结构图如下: context是对话的上文，response是对话的回复。简单来说，模型目的就是选出符合context的response。为了提取出cont 阅读全文
posted @ 2018-05-15 13:59 bugfree 阅读(930) 评论(0) 推荐(0)
tensorflow 变量共享
摘要：tensorflow 变量共享涉及到几个常用的方法，tf.get_variable, tf.variable_scope, tf.reuse_variables等 为了记忆各个方法的功能，与其他方法做一个对比。 tf.variable 与 tf.get_variable tensorflow中有两种 阅读全文
posted @ 2018-05-13 12:08 bugfree 阅读(2881) 评论(0) 推荐(0)
screen使用tensorflow　显示import error
摘要：原因是screen开启时会unset很多环境变量。 需要在开启screen时对环境变量赋值。screen env LD_LIBRARY_PATH=$LD_LIBRARY_PATH bash 阅读全文
posted @ 2018-05-02 12:33 bugfree 阅读(819) 评论(0) 推荐(0)