摘要: 导读 本文讨论了深层神经网络训练困难的原因以及如何使用Highway Networks去解决深层神经网络训练的困难,并且在pytorch上实现了Highway Networks。 一 、Highway Networks 与 Deep Networks 的关系 深层神经网络相比于浅层神经网络具有更好的 阅读全文
posted @ 2018-04-24 20:19 Elesdspline 阅读(1733) 评论(0) 推荐(0) 编辑
摘要: 一 、Highway Networks 与 Deep Networks 的关系 深层神经网络相比于浅层神经网络具有更好的效果,在很多方面都已经取得了很好的效果,特别是在图像处理方面已经取得了很大的突破,然而,伴随着深度的增加,深层神经网络存在的问题也就越大,像大家所熟知的梯度消失问题,这也就造成了训 阅读全文
posted @ 2017-09-28 12:44 Elesdspline 阅读(5905) 评论(0) 推荐(0) 编辑
摘要: (一)简述 承接上文 基于pytorch实现HighWay Networks之Train Deep Networks 上文已经介绍过Highway Netwotrks提出的目的就是解决深层神经网络训练困难的问题,以及简单的解释了为什么深层神经网络会出现梯度消失和梯度爆炸的问题,这里详细的介绍一些Hi 阅读全文
posted @ 2017-09-23 15:27 Elesdspline 阅读(2902) 评论(0) 推荐(0) 编辑
摘要: (一)Highway Networks 与 Deep Networks 的关系 1. 理论实践表明神经网络的深度是至关重要的,深层神经网络在很多方面都已经取得了很好的效果,例如,在1000 class ImageNet数据集上的图像分类任务通过利用深层神经网络把准确率从84%提高到了95%,然而,在 阅读全文
posted @ 2017-09-23 15:24 Elesdspline 阅读(820) 评论(0) 推荐(0) 编辑
摘要: 当我使用pycharm运行 (https://github.com/Joyce94/cnn-text-classification-pytorch ) pytorch程序的时候,在Linux服务器上会开启多个进程,占用服务器的大量的CPU,在windows10上运行此程序的时候,本机的CPU和内存会 阅读全文
posted @ 2017-09-04 21:30 Elesdspline 阅读(17795) 评论(1) 推荐(0) 编辑
摘要: (一)简述 在使用vim编写python文件的过程中,默认的vim不会实现代码补全功能,在写程序或者是改程序的时候不是很方面,很容易出错,但是vim提供了各种插件,其中包括这个python文件的自动补全 在使用vim编写python文件的过程中,默认的vim不会实现代码补全功能,在写程序或者是改程序 阅读全文
posted @ 2017-09-04 17:26 Elesdspline 阅读(652) 评论(0) 推荐(0) 编辑
摘要: 1、查看文件大小、内存大小、cpu信息、硬盘空间 显示当前目录所有文件大小的命令:ls -lht 内存空间、CPU信息、硬盘空间:htop、top(htop详解参考:http://blog.csdn.net/skh2015java/article/details/53173896) 显示当前目录所有 阅读全文
posted @ 2017-09-03 16:47 Elesdspline 阅读(450) 评论(0) 推荐(0) 编辑
摘要: (Demo) 这是最近两个月来的一个小总结,实现的demo已经上传github,里面包含了CNN、LSTM、BiLSTM、GRU以及CNN与LSTM、BiLSTM的结合还有多层多通道CNN、LSTM、BiLSTM等多个神经网络模型的的实现。这篇文章总结一下最近一段时间遇到的问题、处理方法和相关策略, 阅读全文
posted @ 2017-09-03 15:34 Elesdspline 阅读(76356) 评论(2) 推荐(3) 编辑
摘要: 一、介绍 word2vec是Google于2013年推出的开源的获取词向量word2vec的工具包。它包括了一组用于word embedding的模型,这些模型通常都是用浅层(两层)神经网络训练词向量。 Word2vec的模型以大规模语料库作为输入,然后生成一个向量空间(通常为几百维)。词典中的每个 阅读全文
posted @ 2017-07-15 10:31 Elesdspline 阅读(14871) 评论(0) 推荐(0) 编辑
摘要: 一、openMP简单测试 1、简述 openMP很多情况下对于利用多核处理器进行加速是很有效果的,然而,也有一些情况是openMP不但没有效果,甚至还有一些反作用。 openMP很多情况下对于利用多核处理器进行加速是很有效果的,然而,也有一些情况是openMP不但没有效果,甚至还有一些反作用。 2、 阅读全文
posted @ 2017-07-04 12:56 Elesdspline 阅读(726) 评论(0) 推荐(0) 编辑