深度学习 - 文章分类 - sxron

【转】深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）

摘要：原文来自：https://zhuanlan.zhihu.com/p/22252270 前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。 SGD 此处的SGD指mini-batch gradient des 阅读全文

posted @ 2018-02-27 16:12 sxron 阅读(424) 评论(0) 推荐(0) 编辑

【转载】一份不可多得的深度学习技巧指南

摘要：本文来自云栖社区：　https://yq.aliyun.com/articles/221611 常言道，师傅领进门，修行靠个人，相信很多人或多或少是在别人的建议或带领下步入深度学习这个大坑，然后师傅说深度学习是个玄学，后面就靠个人修行，瞬间就懵了对不对？可能后面经过自己不断实验积累相关经验，会有一些阅读全文

posted @ 2018-02-03 11:19 sxron 阅读(379) 评论(0) 推荐(0) 编辑

【转】一文概览深度学习中的五大正则化方法和七大优化策略

摘要：深度学习中的正则化与优化策略一直是非常重要的部分，它们很大程度上决定了模型的泛化与收敛等性能。本文主要以深度卷积网络为例，探讨了深度学习中的五项正则化与七项优化策略，并重点解释了当前最为流行的 Adam 优化算法。本文主体介绍和简要分析基于南洋理工的概述论文，而 Adam 方法的具体介绍基于 14 阅读全文

posted @ 2017-12-21 20:20 sxron 阅读(338) 评论(0) 推荐(0) 编辑

【转】从CNN视角看在自然语言处理上的应用

摘要：前言：卷积神经网络（Convolutional Neural Network）最早是应用在计算机视觉当中，而如今CNN也早已应用于自然语言处理（Natural Language Processing）的各种任务。本文主要以CMU CS 11-747（Neural Networks for NLP）课阅读全文

posted @ 2017-10-24 20:27 sxron 阅读(260) 评论(0) 推荐(0) 编辑

【转】自然语言处理中的Encoder-Decoder模型，基本Sequence to Sequence模型及Attention Model注意力模型

摘要：注：本文出自Bin的专栏blog.csdn.NET/xbinworld。 Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是CNN-RN 阅读全文

posted @ 2017-06-17 11:18 sxron 阅读(4220) 评论(0) 推荐(0) 编辑

【转】RNN/LSTM/GRU原理详述

摘要：Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点阅读全文

posted @ 2017-04-14 16:32 sxron 阅读(1743) 评论(0) 推荐(0) 编辑

【转】用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

摘要：近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。业务问题描述：淘宝商品的一个典型的例子见下图，图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中阅读全文

posted @ 2017-03-29 15:13 sxron 阅读(334) 评论(0) 推荐(0) 编辑

激活函数、损失函数及其优化方法总结

摘要：1.1 激活函数关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活阅读全文

posted @ 2017-03-20 19:25 sxron 阅读(960) 评论(0) 推荐(0) 编辑

卷积神经网络（CNN）详解

摘要：卷积神经网络简介（Convolutional Neural Networks，简称CNN）卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，阅读全文

posted @ 2017-03-04 18:06 sxron 阅读(11439) 评论(0) 推荐(0) 编辑

【转载】深度学习论文

摘要：0. 深度学习的“圣经” 提到入门级的书，就不得不提这一本 Bengio Yoshua，Ian J. Goodfellow 和 Aaron Courville共同撰写的《深度学习》（Deep Learning）。 “这本关于深度学习的教课书是一本为了帮助学生及从业者入门机器学习，并专注于深度学习领域阅读全文

posted @ 2016-10-25 15:45 sxron 阅读(3747) 评论(0) 推荐(0) 编辑

【转载】BP神经网络原理详解

摘要：从神经网络的生物模型说起从神经网络的生物模型说起我们知道人大脑信息的传递、对外界刺激产生反应都由神经元控制的，人脑就是由上百亿个的这样神经元构成。这些神经元之间并不孤立而且联系很密切，每个神经元平均与几千个神经元相连接，因此构成了人脑的神经网络。刺激在神经网络中的传播是遵循一定的规则的，一个神经阅读全文

posted @ 2016-09-24 11:01 sxron 阅读(1739) 评论(0) 推荐(0) 编辑

神经网络入门之RNN（三）

摘要：在此之前，我们已经学习了前馈网络的两种结构——DNN和CNN，这两种结构有一个特点，就是假设输入是一个独立的没有上下文联系的单位，比如输入是一张图片，网络识别是狗还是猫。但是对于一些有明显的上下文特征的序列化输入，比如预测视频中下一帧的播放内容，那么很明显这样的输出必须依赖以前的输入，也就是说网络阅读全文

posted @ 2016-09-10 14:03 sxron 阅读(546) 评论(0) 推荐(0) 编辑

神经网络入门之CNN（二）

摘要：Convolutional Neural Networks卷积神经网络卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作阅读全文

posted @ 2016-09-07 20:32 sxron 阅读(2583) 评论(0) 推荐(1) 编辑

神经网络入门之DNN（一）

摘要：神经网络简史神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力（比如最为典型的阅读全文

posted @ 2016-09-04 18:01 sxron 阅读(31651) 评论(0) 推荐(2) 编辑

【转载】 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解

摘要：本文为转载博文，原博文位置：http://blog.csdn.net/eddy_zheng/article/details/50763648 1、相关知识从广义上来说，NN（或是更美的DNN）确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为，它们并没有可比性，或是根本没必要放在一起阅读全文

posted @ 2016-08-26 17:16 sxron 阅读(1200) 评论(0) 推荐(0) 编辑

【转载】基于Deep Learning的中文分词尝试

摘要：现有分词介绍自然语言处理（NLP，Natural Language Processing）是一个信息时代最重要的技术之一，简单来讲，就是让计算机能够理解人类语言的一种技术。在其中，分词技术是一种比较基础的模块。对于英文等拉丁语系的语言而言，由于词之间有空格作为词边际表示，词语一般情况下都能简单且准阅读全文

posted @ 2016-08-05 13:58 sxron 阅读(5311) 评论(0) 推荐(0) 编辑

【转】使用深度RNN模型构建语义搜索引擎

摘要：本文讨论如何用深度学习系统来构造语义搜索引擎的问题。这里所谓的语义搜索，是指的能做用户查询和搜索网页之间的语义级别匹配，比如说，用户输入“Iphone”，虽然某篇文章讲到了“苹果公司正在试图做新型的手机”，但是没有明确说iphone的字样，那么即使如此也能够将这篇文章找出来。传统的搜索引擎对于这种情阅读全文

posted @ 2016-03-16 23:48 sxron 阅读(689) 评论(0) 推荐(0) 编辑

【转】使用RNN解决NLP中序列标注问题的通用优化思路

摘要：序列标注问题应该说是自然语言处理中最常见的问题，而且很可能是最而没有之一。在深度学习没有广泛渗透到各个应用领域之前，传统的最常用的解决序列标注问题的方案是最大熵、CRF等模型，尤其是CRF，基本是最主流的方法。随着深度学习的不断探索和发展，很可能RNN模型会取代CRF的传统霸主地位，会成为解决序列标阅读全文

posted @ 2016-02-24 19:59 sxron 阅读(1394) 评论(0) 推荐(0) 编辑

【转】BP神经网络

摘要：本文主要内容包括： (1) 介绍神经网络基本原理，(2) AForge.NET实现前向神经网络的方法。第0节、引例本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_data_se 阅读全文

posted @ 2016-02-02 16:31 sxron 阅读(258) 评论(0) 推荐(0) 编辑

【转】深度学习word2vec笔记之算法篇

摘要：前言在看word2vec的资料的时候，经常会被叫去看那几篇论文，而那几篇论文也没有系统地说明word2vec的具体原理和算法，所以老衲就斗胆整理了一个笔记，希望能帮助各位尽快理解word2vec的基本原理，避免浪费时间。当然如果已经了解了，就随便看看得了。一． CBOW加层次的网络结构与使用说阅读全文

posted @ 2016-01-12 11:30 sxron 阅读(312) 评论(0) 推荐(0) 编辑

文章分类 - 深度学习