上一页 1 2 3 4 5 6 7 8 ··· 16 下一页
摘要: 简单demo的代码路径在tensorflow\tensorflow\g3doc\tutorials\word2vec\word2vec_basic.py Sikp gram方式的model思路 http://tensorflow.org/tutorials/word2vec/index.md 另外可以参考cs224d课程的课件。 窗口设置为左右1个词 对应... 阅读全文
posted @ 2015-11-19 10:24 阁子 阅读(13089) 评论(1) 推荐(1) 编辑
摘要: CSC321 Winter 2015: Introduction to Neural Networks 来自 http://www.cs.toronto.edu/~rgrosse/csc321/lec6.pdf ppt较为简洁明了 CS224d: Deep Learning for Natural Language Processing 来自 http://c... 阅读全文
posted @ 2015-11-13 17:43 阁子 阅读(635) 评论(0) 推荐(0) 编辑
摘要: 稀疏矩阵有多种表示方法 Compressed Row Storage 来自 矩阵向量乘法效率较低 这个比较好理解, val: 非0的val按照行顺序排列 col_ind: 列索引 10这个val是第一列 -2对应第5 列 val(a_ij)对应col_ind(j) 如何表示出行信息? Row_ptr(1) = 1 表... 阅读全文
posted @ 2015-11-13 15:51 阁子 阅读(1127) 评论(0) 推荐(0) 编辑
摘要: 先采用一个简单的输入文本做测试 [root@cq01-forum-rstree01.cq01.baidu.com rnnlm]# pwd /home/users/chenghuige/rsc/app/search/sep/anti-spam/rnnlm [root@cq01-forum-rstree01.cq01.baidu.com rnnlm]# cat shijiebei2.txt 喜欢 ... 阅读全文
posted @ 2015-11-10 15:51 阁子 阅读(1723) 评论(0) 推荐(0) 编辑
摘要: 也就是构造一棵Huffman Tree,输入是按照词汇频次由高到低排序的 采用层次SoftMax的做法,是为了使得训练和预测时候的softmax输出加速,原有multinomal softmax,是和 训练词汇量|V|成正比的,而现在由于二叉树的特性,变成了log(|V|),也就是平均每个预测只做log(|V|)次 的binary的softmax。当然还有另外一种不采用HSTree的方法也... 阅读全文
posted @ 2015-11-09 16:09 阁子 阅读(1013) 评论(0) 推荐(0) 编辑
摘要: https://github.com/yandex/faster-rnnlm Gdb ./rnnlm r -rnnlm model-good.faster -train thread.title.good.train.txt -valid thread.title.good.valid.txt -hidden 5- -direct-order 3 -direct 200 -bptt 4 ... 阅读全文
posted @ 2015-11-08 14:42 阁子 阅读(1222) 评论(1) 推荐(0) 编辑
摘要: 如何评估语言模型 (>) Perplexity 一个语言模型表现更好好就是说它在测试集合表现更好,也就是说使得测试数据能有更高产生概率(assign a higher score to test data) 在这个基础上表征了这一特征,perplextiy越低则表示测试数据产生概率越高。 N起归一作用,在这里避免了长度偏见,较长句子会使得概率较小一些。 考虑 I... 阅读全文
posted @ 2015-10-28 15:51 阁子 阅读(1595) 评论(0) 推荐(0) 编辑
摘要: Convolution: 在了解convolution前,先认识下为什么要从全部连接网络发展到局部连接网络。在全局连接网络中,如果我们的图像很大,比如说为96*96,隐含层有要学习100个特征,则这时候把输入层的所有点都与隐含层节点连接,则需要学习10^6个参数,这样的话在使用BP算法时速度就明显慢... 阅读全文
posted @ 2015-10-20 22:50 阁子 阅读(540) 评论(0) 推荐(0) 编辑
摘要: 在stl中map,set内部都是使用相同的红黑树实现,map对应模板参数key_type,mapped_type,而set对应模板参数没有mapped_type 两者都支持insert操作 pair insert(const value_type& value); 对于map typedef pair value_type; 对于set typdef key_type... 阅读全文
posted @ 2015-07-26 10:54 阁子 阅读(456) 评论(0) 推荐(0) 编辑
摘要: 这个可以参考effective c++http://www.cppblog.com/tiandejian/archive/2011/12/25/epp_35.html 这里给出一个测试程序 对比了3种不同实现方案的效率,这三种方案的效果是等价的 1.使用虚函数 2.使用std::function3.... 阅读全文
posted @ 2015-05-21 16:23 阁子 阅读(1747) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 16 下一页