随笔分类 -  机器学习

1 2 3 下一页
SQUAD的rnet复现踩坑记
摘要：在港科大rnet（https://github.com/HKUST-KnowComp/R-Net) 实现的基础上做了复现 采用melt框架训练，原因是港科大实现在工程上不是很完美，包括固定了batch size，固定了context 长度为400，过滤了超过长度的context，每个batch长度都固定到400。 melt框架支持dynamic batch size， dynamic batch ... 阅读全文
posted @ 2018-05-29 10:44 阁子 阅读(2513) 评论(0) 推荐(0)
深度学习的坑
摘要： 阅读全文
posted @ 2017-09-06 08:18 阁子 阅读(720) 评论(0) 推荐(1)
Orders matters: seq2seq for set 实验
摘要：论文提出了input的顺序影响seq2seq结果 有一些输入本身是无序的怎么去处理呢 作者提出LSTM controller的方式 替代输入的LSTM encode方式 作者实验这种方式对应无序浮点数序列排序效果好于直接seq2seq N是要排序的数的数目 P = 10 steps 表示 LSTM contorller process 10次 glimpses... 阅读全文
posted @ 2017-07-31 10:54 阁子 阅读(1099) 评论(0) 推荐(0)
可视化展示attention(seq2seq with attention in tensorflow)
摘要：目前实现了基于tensorflow的支持的带attention的seq2seq。基于tf 1.0官网contrib路径下seq2seq 由于后续版本不再支持attention，迁移到melt并做了进一步开发，支持完全ingraph的beam search(更快速) 以及outgraph的交互式bea 阅读全文
posted @ 2017-03-18 20:59 阁子 阅读(6737) 评论(2) 推荐(0)
Dynamic attention in tensorflow
摘要：新代码在contrib\seq2seq\python\ops\attention_decoder_fn.py 和之前代码相比 不再采用conv的方式来计算乘，直接使用乘法和linear 给出了两种attention的实现 传统的"bahdanau": additive (Bahdanau et al 阅读全文
posted @ 2017-01-31 22:41 阁子 阅读(2750) 评论(1) 推荐(0)
Dynamic seq2seq in tensorflow
摘要：v1.0中 tensorflow渐渐废弃了老的非dynamic的seq2seq接口，已经放到 tf.contrib.legacy_seq2seq目录下面。 tf.contrib.seq2seq下面的实现都是dynamic seq2seq接口。 按照google的rd说法下个月将会给出更加完善的接口和实现。 当前版本也可以使用这里尝试分析一下现有dynamic seq2seq的代码。 首先核心... 阅读全文
posted @ 2017-01-25 05:38 阁子 阅读(4226) 评论(0) 推荐(0)
Tensorflow Seq2seq attention decode解析
摘要：tensorflow基于 Grammar as a Foreign Language实现，这篇论文给出的公式也比较清楚。 这里关注seq2seq.attention_decode函数， 主要输入 decoder_inputs, initial_state, attention_states, 这里可以主要参考 models/textsum的应用，textsum采用的多层双向... 阅读全文
posted @ 2017-01-08 10:00 阁子 阅读(11404) 评论(1) 推荐(0)
tensorflow中的lstm的state
摘要：考虑 state_is_tuple Output, new_state = cell(input, state) state其实是两个 一个 c state，一个m(对应下图的hidden 或者h) 其中m(hidden)其实也就是输出 new_state = (LSTMStateTuple(c, m) if self._s... 阅读全文
posted @ 2017-01-06 17:28 阁子 阅读(4537) 评论(0) 推荐(0)
图文相关性 flickr数据实验结论_1
摘要：红色是random_uniform初始化，对比random_normal初始化的蓝色， 曲线表示ndcg@1 文本端使用更复杂的建模能够提升效果特别针对flickr长序列数据，对应短关键词数据效果没有这么明显 实验表明逆向lstm,采用向量累加表示文本效果好于正向lstm lstm相对收敛慢但是后来 阅读全文
posted @ 2016-12-16 14:28 阁子 阅读(648) 评论(0) 推荐(0)
LightGBM中GBDT的实现
摘要：现在LightGBM开源了，这里将之前的一个文档发布出来供大家参考，帮助更快理解LightGBM的实现，整体思路应该是类似的。 LightGBM优雅，快速，效果好，希望LightGBM越来越好:) LightGBM中GBDT的实现 http://www.docpe.com/Download/1030 阅读全文
posted @ 2016-10-27 19:56 阁子 阅读(7648) 评论(0) 推荐(0)
Tensorflow 变量的共享
摘要：https://github.com/chenghuige/tensorflow-exp/blob/master/examples/sparse-tensor-classification/ tensorflow-exp/example/sparse-tensor-classification/tr 阅读全文
posted @ 2016-08-15 16:14 阁子 阅读(1383) 评论(0) 推荐(0)
Tensorflow 变量的共享
摘要：https://github.com/chenghuige/tensorflow-exp/blob/master/examples/sparse-tensor-classification/ tensorflow-exp/example/sparse-tensor-classification/train-validate.py 当你需要train的过程中validate的时候，如... 阅读全文
posted @ 2016-08-15 16:14 阁子 阅读(4361) 评论(0) 推荐(0)
https://github.com/chenghuige/tensorflow-exp/blob/master/examples/sparse-tensor-classification/
摘要：https://github.com/chenghuige/tensorflow-exp/blob/master/examples/sparse-tensor-classification/ tensorflow-exp/example/sparse-tensor-classification/train-validate.py 当你需要train的过程中validate的时候，如... 阅读全文
posted @ 2016-08-15 16:09 阁子 阅读(1406) 评论(0) 推荐(0)
Tensorflow 处理libsvm格式数据生成TFRecord (parse libsvm data to TFRecord)
摘要：#写libsvm格式 数据 write libsvm #!/usr/bin/env python #coding=gbk # ============================================================================== # \file gen-records.py # ... 阅读全文
posted @ 2016-08-12 18:06 阁子 阅读(6705) 评论(0) 推荐(0)
Tensorflow- tensor的列操作
摘要：几个point import tensorflow as tf sess = tf.InteractiveSession() In [12]: t = tf.constant([[1, 2, 3], [4, 5, 6]], dtype=tf.float32) In [19]: tf.expand_d 阅读全文
posted @ 2016-08-07 15:46 阁子 阅读(10306) 评论(0) 推荐(0)
CNN初步-2
摘要：Pooling 为了解决convolved之后输出维度太大的问题 在convolved的特征基础上采用的不是相交的区域处理 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ 这里有一个cnn较好的介绍 Pooling also reduces... 阅读全文
posted @ 2016-07-16 22:58 阁子 阅读(911) 评论(0) 推荐(0)
Tensorflow serving的编译
摘要：Tensorflow serving提供了部署tensorflow生成的模型给线上服务的方法，包括模型的export，load等等。 安装参考这个 https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/s 阅读全文
posted @ 2016-02-29 17:44 阁子 阅读(6104) 评论(0) 推荐(1)
tensorflow添加自定义的auc计算operator
摘要：tensorflow可以很方便的添加用户自定义的operator(如果不添加也可以采用sklearn的auc计算函数或者自己写一个 但是会在python执行，这里希望在graph中也就是c++端执行这个计算) 这里根据工作需要添加一个计算auc的operator，只给出最简单实现，后续高级功能还是参考官方wiki https://www.tensorflow.org/versio... 阅读全文
posted @ 2016-02-19 17:01 阁子 阅读(7159) 评论(0) 推荐(0)
tensorflow的安装
摘要：binary安装(推荐) 注意需要能访问外网 Install pip (or pip3 for python3) if it is not already installed: # Ubuntu/Linux 64-bit$ sudo apt-get install python-pip python 阅读全文
posted @ 2016-02-19 16:57 阁子 阅读(1283) 评论(0) 推荐(0)
CSC321 神经网络语言模型 RNN-LSTM
摘要：主要两个方面 Probabilistic modeling 概率建模，神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数) 这是一个最初版的神经网络语言模型 选取什么要的loss function，为什么用cro... 阅读全文
posted @ 2015-12-16 20:18 阁子 阅读(14100) 评论(0) 推荐(0)

1 2 3 下一页