摘要: 因为各种事(主要是懒),2020年终总结一直没有写,本想五一写完,结果一拖再拖,拖到了现在。和去年一样,也是五个部分。 1.家庭 去年最大的一件事就是买房&装修。因为儿子出生了,我爸妈过来帮忙带孩子,一家五口人住一个小两居实在是有些局促,孩子在家也没多少地方可以活动,因此准备买一套大一些的房子改善下 阅读全文
posted @ 2021-05-14 14:44 handspeaker 阅读(75) 评论(0) 推荐(2) 编辑
摘要: 由于多个版本的积累,Tensorflow中的RNN比较杂乱,到底哪个版本实际效率高,经过实测我发现和api中说明的并不一致,在此记录一下。 注意,以下相关代码和结论均运行在tensorflow==1.10上 1.脉络梳理 在1.10版本的tensorflow中,有关rnn的部分一般在以下四个包中, 阅读全文
posted @ 2020-02-16 13:34 handspeaker 阅读(2405) 评论(0) 推荐(0) 编辑
摘要: 又到了一年一度写总结的时候了,今年过的比较充实,事情比较多,因此博客发的少了,不过坚持写技术博客的习惯我还是会坚持下去,目前有两篇已经在我的草稿箱了,准备春节前后完成。闲话少说,直奔主题,今年的年终总结主要分四个维度,家庭、工作、个人、投资,毕竟参加工作五年多了,逐渐步入到中年人的行列,生活中除了工 阅读全文
posted @ 2019-12-25 11:38 handspeaker 阅读(558) 评论(1) 推荐(3) 编辑
摘要: 1.使用场景 假设我们有训练好的模型A,B,C,我们希望使用A,B,C中的部分或者全部变量,合成为一个模型D,用于初始化或其他目的,就需要融合多个模型的方法 2.如何实现 我们可以先声明模型D,再创建多个Saver实例,分别从模型A,B,C的保存文件(checkpoint文件)中读取所需的变量值,来 阅读全文
posted @ 2019-03-05 18:00 handspeaker 阅读(4619) 评论(3) 推荐(1) 编辑
摘要: 最近由于项目需要,要对tensorflow构造的模型中部分变量冻结,然后继续训练,因此研究了一下tf中冻结变量的方法,目前找到三种,各有优缺点,记录如下: 1.名词解释 冻结变量,指的是在训练模型时,对某些可训练变量不更新,即仅参与前向loss计算,不参与后向传播,一般用于模型的finetuning 阅读全文
posted @ 2019-02-19 13:31 handspeaker 阅读(9206) 评论(2) 推荐(1) 编辑
摘要: 因为这一年过的很不顺利,一直在思考如何总结,因此迟来了这么久。 一、工作 2018一整年基本都在忙公司项目,技术积累和探索很少,写的博客数量可以很好证明这点。被项目牵着鼻子走,整整一年都很忙碌很焦虑,在年终时却没感觉有多少收获。今年不打算按照时间顺序写流水账,只简单说几个点。 第一,都已经8012年 阅读全文
posted @ 2019-02-10 18:59 handspeaker 阅读(537) 评论(3) 推荐(2) 编辑
摘要: 最近研究了下如何使用tensorflow进行finetuning,相比于caffe,tensorflow的finetuning麻烦一些,记录如下: 1.原理 finetuning原理很简单,利用一个在数据A集上已训练好的模型作为初始值,改变其部分结构,在另一数据集B上(采用小学习率)训练的过程叫做 阅读全文
posted @ 2018-08-24 15:41 handspeaker 阅读(1432) 评论(0) 推荐(0) 编辑
摘要: 虽然tf官方希望用户把 train , val 程序分开写,但实际开发中,明显写在一起比较简单舒服,但在保存数据到 summary 时, val 部分和 train 部分不太一样,会有一些问题,下面讨论如何在这种情况下记录 train/val 的 summary 。 假设训练时的主要代码结构如下: 阅读全文
posted @ 2018-01-31 14:35 handspeaker 阅读(6897) 评论(0) 推荐(0) 编辑
摘要: centOS上不支持rar解压,需要额外安装软件,收费版是unrar,免费版是unar unar在centOS上安装需要源码编译,下面是安装方法: 1.安装依赖 yum install gnustep-base-devel yum install zlib-devel yum install bzi 阅读全文
posted @ 2018-01-03 12:41 handspeaker 阅读(2967) 评论(1) 推荐(0) 编辑
摘要: 关于多gpu训练,tf并没有给太多的学习资料,比较官方的只有:tensorflow-models/tutorials/image/cifar10/cifar10_multi_gpu_train.py 但代码比较简单,只是针对cifar做了数据并行的多gpu训练,利用到的layer、activatio 阅读全文
posted @ 2017-12-27 17:42 handspeaker 阅读(32969) 评论(0) 推荐(1) 编辑