摘要: Simple Recurrent Unit 阅读全文
posted @ 2018-04-24 20:21 Elesdspline 阅读(1372) 评论(0) 推荐(1) 编辑
摘要: 导读 本文简单的介绍了Google 于 2013 年开源推出的一个用于获取 word vector 的工具包(word2vec),并且简单的介绍了其中的两个训练模型(Skip gram,CBOW),以及两种加速的方法(Hierarchical Softmax,Negative Sampling)。 阅读全文
posted @ 2018-04-24 20:21 Elesdspline 阅读(591) 评论(0) 推荐(0) 编辑
摘要: 导读 本文讨论了深层神经网络训练困难的原因以及如何使用Highway Networks去解决深层神经网络训练的困难,并且在pytorch上实现了Highway Networks。 一 、Highway Networks 与 Deep Networks 的关系 深层神经网络相比于浅层神经网络具有更好的 阅读全文
posted @ 2018-04-24 20:19 Elesdspline 阅读(1732) 评论(0) 推荐(0) 编辑
摘要: 一 、Highway Networks 与 Deep Networks 的关系 深层神经网络相比于浅层神经网络具有更好的效果,在很多方面都已经取得了很好的效果,特别是在图像处理方面已经取得了很大的突破,然而,伴随着深度的增加,深层神经网络存在的问题也就越大,像大家所熟知的梯度消失问题,这也就造成了训 阅读全文
posted @ 2017-09-28 12:44 Elesdspline 阅读(5904) 评论(0) 推荐(0) 编辑
摘要: (Demo) 这是最近两个月来的一个小总结,实现的demo已经上传github,里面包含了CNN、LSTM、BiLSTM、GRU以及CNN与LSTM、BiLSTM的结合还有多层多通道CNN、LSTM、BiLSTM等多个神经网络模型的的实现。这篇文章总结一下最近一段时间遇到的问题、处理方法和相关策略, 阅读全文
posted @ 2017-09-03 15:34 Elesdspline 阅读(76143) 评论(2) 推荐(3) 编辑
摘要: windows 安装参考 https://bamtercelboo.github.io/2017/07/26/ubuntu-windows%E5%AE%89%E8%A3%85pytorch/ 1、下载Anaconda3 首先需要去Anaconda官网下载最新版本Anaconda3(https://w 阅读全文
posted @ 2017-06-24 20:24 Elesdspline 阅读(16589) 评论(0) 推荐(2) 编辑
摘要: 导读 最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3 4篇综述,每篇包含2 3篇论文。续 "中文词向量论文综述(三)" 。 一、Enriching Word Vectors with Subword Informa 阅读全文
posted @ 2018-08-17 08:15 Elesdspline 阅读(1483) 评论(0) 推荐(1) 编辑
摘要: 导读 最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3 4篇综述,每篇包含2 3篇论文。续 "中文词向量论文综述(二)" 。 一、Learning Chinese Word Representations From 阅读全文
posted @ 2018-08-16 08:12 Elesdspline 阅读(1537) 评论(0) 推荐(0) 编辑
摘要: 导读 最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3 4篇综述,每篇包含2 3篇论文。续 "中文词向量论文综述(一)" 。 一、Improve Chinese Word Embeddings by Exploiti 阅读全文
posted @ 2018-08-15 08:59 Elesdspline 阅读(738) 评论(0) 推荐(1) 编辑
摘要: 导读 前段时间看了一些有关中文词向量的论文,不过由于时间原因,最近几天才完成了整理,一共写了4篇综述,每篇包含2 3篇论文,链接里面是详细内容。 Paper 1. "Component Enhanced Chinese Character Embeddings" 这是一篇2015年发表在 会议上的论 阅读全文
posted @ 2018-08-15 08:55 Elesdspline 阅读(1002) 评论(0) 推荐(0) 编辑
摘要: 导读 最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3 4篇综述,每篇包含2 3篇论文。 一、Component Enhanced Chinese Character Embeddings 论文来源 这是一篇2015 阅读全文
posted @ 2018-08-14 10:45 Elesdspline 阅读(3041) 评论(0) 推荐(1) 编辑
摘要: 最近在做词向量相关工作,训练的词向量如何进行评测?本文将从业界使用最广泛的两个评测任务进行阐述,包括相似度任务(`word similarity task`)和词汇类比任务(`word analogy task`),这里已经写好了相关评测脚本([Word_Similarity_and_Word_Analogy](https://github.com/bamtercelboo/Word_Similarity_and_Word_Analogy)),包括中文词向量评测脚本和英文V词向量评测脚本,方便大家使用。 阅读全文
posted @ 2018-05-16 09:16 Elesdspline 阅读(2230) 评论(0) 推荐(3) 编辑
摘要: 最近在做词向量相关工作,词向量的训练数据采用中文维基百科数据,训练之前,要对维基百科数据进行处理,这篇文章记录了一些处理过程及相关的脚本。 阅读全文
posted @ 2018-05-16 09:13 Elesdspline 阅读(1696) 评论(0) 推荐(1) 编辑
摘要: 本文对AAAI 2018(Association for the Advancement of Artificial Intelligence 2018)高分录用的一篇中文词向量论文([cw2vec: Learning Chinese Word Embeddings with Stroke n-gram Information](http://www.statnlp.org/wp-content/uploads/papers/2018/cw2vec/cw2vec.pdf))进行简述与实现,这篇论文出自蚂蚁金服人工智能部。本文将从背景知识、模型简介、c++实现、实验结果、结论等几个方面来进行阐述。 阅读全文
posted @ 2018-05-16 09:11 Elesdspline 阅读(2346) 评论(4) 推荐(1) 编辑