微笑sun

2018年7月25日

摘要： 1、Attention Model 概述深度学习里的Attention model其实模拟的是人脑的注意力模型，举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑主要关注在这一小块图案上，也就是说这个时候人脑阅读全文

posted @ 2018-07-25 18:03 微笑sun 阅读(36381) 评论(1) 推荐(2) 编辑

深度学习之受限玻尔兹曼机

摘要： 1、什么是受限玻尔兹曼机玻尔兹曼机是一大类的神经网络模型，但是在实际应用中使用最多的则是受限玻尔兹曼机（RBM）。受限玻尔兹曼机（RBM）是一个随机神经网络（即当网络的神经元节点被激活时会有随机行为，随机取值）。它包含一层可视层和一层隐藏层。在同一层的神经元之间是相互独立的，而在不同的网络层之间阅读全文

posted @ 2018-07-25 11:20 微笑sun 阅读(15760) 评论(0) 推荐(0) 编辑

2018年7月24日

深度学习之从RNN到LSTM

摘要： 1、循环神经网络概述循环神经网络（RNN）和DNN，CNN不同，它能处理序列问题。常见的序列有：一段段连续的语音，一段段连续的手写文字，一条句子等等。这些序列长短不一，又比较难拆分成一个个独立的样本来训练。那么RNN又是怎么来处理这类问题的呢？RNN就是假设我们的样本是基于序列的。比如给定一个从索阅读全文

posted @ 2018-07-24 21:59 微笑sun 阅读(28103) 评论(4) 推荐(7) 编辑

自然语言处理之LDA主题模型

摘要： 1、LDA概述在机器学习领域，LDA是两个常用模型的简称：线性判别分析（Linear Discriminant Analysis）和隐含狄利克雷分布（Latent Dirichlet Allocation）。本文的LDA仅指代Latent Dirichlet Allocation. LDA 在主阅读全文

posted @ 2018-07-24 17:47 微笑sun 阅读(2657) 评论(0) 推荐(0) 编辑

机器学习之MCMC算法

摘要： 1、MCMC概述从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。之前已经介绍过蒙特卡洛方法，接下来介绍马尔科夫链，以及结合两者的采样算法。 2、马尔科夫链马尔科夫链的概念在阅读全文

posted @ 2018-07-24 12:16 微笑sun 阅读(23673) 评论(0) 推荐(2) 编辑

机器学习之蒙特卡洛方法

摘要： 1、蒙特卡洛方法概述蒙特卡罗原来是一个赌场的名称，用它作为名字大概是因为蒙特卡罗方法是一种随机模拟的方法，这很像赌博场里面的扔骰子的过程。最早的蒙特卡罗方法都是为了求解一些不太好求解的求和或者积分问题。比如积分： $\int_a^b f(x)\, dx$ 如果此时f(x)很难求出其原函数时，那么这阅读全文

posted @ 2018-07-24 11:03 微笑sun 阅读(2651) 评论(0) 推荐(0) 编辑

2018年7月19日

自然语言处理之卷积神经网络应用

摘要：卷积神经网络（CNN）最开始是用于计算机视觉中，然而现在也被广泛用于自然语言处理中，而且有着不亚于RNN（循环神经网络）的性能。 1、传统的自然语言处理模型 1）传统的词袋模型或者连续词袋模型（CBOW）都可以通过构建一个全连接的神经网络对句子进行情感标签的分类，但是这样存在一个问题，我们通过激活函阅读全文

posted @ 2018-07-19 21:32 微笑sun 阅读(8811) 评论(0) 推荐(1) 编辑

LightGBM介绍及参数调优

摘要： 1、LightGBM简介 LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势： 1）更快的训练效率 2）低内存使用 3）更高的准确率 4）支持并行化学习 5）可以处理大规模数据与常见的机器学习算法对比，速度是非常快的 2、XGboost 阅读全文

posted @ 2018-07-19 17:26 微笑sun 阅读(99848) 评论(0) 推荐(11) 编辑

自然语言处理之word2vec

摘要：在word2vec出现之前，自然语言处理经常把字词转为one-hot编码类型的词向量，这种方式虽然非常简单易懂，但是数据稀疏性非常高，维度很多，很容易造成维度灾难，尤其是在深度学习中；其次这种词向量中任意两个词之间都是孤立的，存在语义鸿沟（这样就不能体现词与词之间的关系）而有Hinton大神提出的D 阅读全文

posted @ 2018-07-19 11:06 微笑sun 阅读(5898) 评论(0) 推荐(0) 编辑

2018年7月18日

自然语言处理之jieba分词

摘要：在处理英文文本时，由于英文文本天生自带分词效果，可以直接通过词之间的空格来分词（但是有些人名、地名等需要考虑作为一个整体，比如New York）。而对于中文还有其他类似形式的语言，我们需要根据来特殊处理分词。而在中文分词中最好用的方法可以说是jieba分词。接下来我们来介绍下jieba分词的特点、原阅读全文

posted @ 2018-07-18 18:22 微笑sun 阅读(3590) 评论(0) 推荐(0) 编辑

公告