随笔分类 -  NLP

1 2 3 下一页
QAnet Encoder
摘要：在QAnet最后的三个encoder中，各项参数为，其中hidden size为context_query输出的hidden size 阅读全文
posted @ 2019-09-05 10:43 下路派出所 阅读(268) 评论(0) 推荐(0)
CRF keras代码实现
摘要：这份代码来自于苏剑林 阅读全文
posted @ 2019-08-02 16:44 下路派出所 阅读(1239) 评论(0) 推荐(0)
CRF 详细推导、验证实例
摘要：逐帧softmax CRF主要用于序列标注问题，可以简单理解为是给序列中的每一帧都进行分类，既然是分类，很自然想到将这个序列用CNN或者RNN进行编码后，接一个全连接层用softmax激活，如下图所示 条件随机场 然而，当我们设计标签时，比如用s、b、m、e的4个标签来做字标注法的分词，目标输出序列 阅读全文
posted @ 2019-08-01 18:06 下路派出所 阅读(6312) 评论(0) 推荐(2)
attention 汇总（持续）
摘要：Seq2seq Attention Normal Attention 1. 在decoder端，encoder state要进行一个线性变换，得到r1，可以用全连接，可以用conv，取决于自己，这里不需要加激活函数。 2. decoder端t时刻的输入和上一时刻的context vector（相当于 阅读全文
posted @ 2019-07-29 09:54 下路派出所 阅读(1607) 评论(0) 推荐(0)
DGCNN
摘要：架构总览 模型的整体架构源于 WebQA 的参考论文 Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question [2]。这篇论文有几个特点： 1. 直接将问题用 LSTM 编码后得到“问 阅读全文
posted @ 2019-06-30 22:14 下路派出所 阅读(2046) 评论(0) 推荐(0)
常见的几种 Normalization 算法
摘要：1. 为什么需要normalization 1.1 独立同分布与白化 机器学习界的炼丹师们最喜欢的数据有什么特点？窃以为，莫过于“独立同分布”了，即independent and identically distributed，简称为 i.i.d. 独立同分布并非所有机器学习模型的必然要求（比如 N 阅读全文
posted @ 2019-06-29 23:25 下路派出所 阅读(2713) 评论(0) 推荐(0)
transformer 源码
摘要：训练时： 1. 输入正确标签一次性解码出来 预测时： 1. 第一次输入1个词，解码出一个词 第二次输入第一次输入的词和第一次解码出来词一起，解码出来第3个词，这样依次解码，解码到最长的长度或者<pad>。就结束。 训练时，全部输入与预测时一个一个输入是一样的 1. 需要传入词向量 2.positio 阅读全文
posted @ 2019-02-25 14:30 下路派出所 阅读(1121) 评论(0) 推荐(0)
tf.estimator.Estimator
摘要：1.定义 2.定义model_fn: 2.使用estimator.predict 1 阅读全文
posted @ 2019-01-03 18:04 下路派出所 阅读(3399) 评论(0) 推荐(0)
tensorflow VocabularyProcessor
摘要：VocabularyProcessor：类似于keras里面的那个padding，将词映射到词向量词字典的id上 阅读全文
posted @ 2018-12-23 11:42 下路派出所 阅读(687) 评论(0) 推荐(0)
Transformer 论文阅读
摘要：直观理解与模型整体结构 先来看一个翻译的例子“I arrived at the bank after crossing the river” 这里面的bank指的是银行还是河岸呢，这就需要我们联系上下文，当我们看到river之后就应该知道这里bank很大概率指的是河岸。在RNN中我们就需要一步步的顺 阅读全文
posted @ 2018-12-19 12:00 下路派出所 阅读(674) 评论(0) 推荐(0)
fastText 安装
摘要：Windows： https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext 下载需要的版本 然后：pip install 文件名 阅读全文
posted @ 2018-12-19 10:33 下路派出所 阅读(804) 评论(0) 推荐(0)
EM 算法
摘要：EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等 1. EM算法要解决的问题 我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布 阅读全文
posted @ 2018-12-18 19:55 下路派出所 阅读(451) 评论(0) 推荐(0)
LDA Gibbs Smapling理解
摘要：即排除当前词的主题分配，根据其他词的主题分配和观察到的单词来计算当前词主题的概率公式 里面用到了伽马函数的性质 当Gibbs sampling 收敛后，我们需要根据最后文档集中所有单词的主题分配来计算和，作为我们估计出来的概率图模型中的隐含变量。每个文档上Topic的后验分布和每个Topic下的te 阅读全文
posted @ 2018-12-18 16:09 下路派出所 阅读(284) 评论(0) 推荐(0)
文本日期提取
摘要：#日期识别 # -*- coding: utf-8 -*- import re from datetime import datetime, timedelta from dateutil.parser import parse import jieba.posseg as psg UTIL_CN_NUM = { '零': 0, '一': 1, '二': 2, '两': 2, '三... 阅读全文
posted @ 2018-12-17 14:34 下路派出所 阅读(836) 评论(0) 推荐(0)
HMM分词实例
摘要：语料库地址： 链接：https://pan.baidu.com/s/1dozkaKD8yQdt51Z-R4ExHQ 提取码：f705 阅读全文
posted @ 2018-12-17 13:34 下路派出所 阅读(637) 评论(0) 推荐(0)
jieba分词加入特殊字符和空格
摘要：将自定义用户词典加入的词与词性中间的空格更改为@@ 1.原来：牵连关系 50 n 2.现在：牵连关系@@50@@n 更改jieba根目录下的__init__.py文件下代码: 1.原来：re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', r 阅读全文
posted @ 2018-12-10 17:46 下路派出所 阅读(3623) 评论(1) 推荐(1)
马尔科夫网络和一阶马尔科夫链
摘要：1.马尔科夫网络指无向图 2.一阶马尔科夫链指有向图，这个时刻的状态只依赖前一个时刻 阅读全文
posted @ 2018-12-03 17:29 下路派出所 阅读(672) 评论(0) 推荐(0)
LR、HMM、CRF和MaxEnt区别
摘要：LR:Logistic 是 Softmax 的特殊形式，多以如果 Softmax 与 MaxEnt 是等价的，则 Logistic 与 MaxEnt 是等价的。 HMM模型： 将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了 阅读全文
posted @ 2018-12-03 16:53 下路派出所 阅读(1671) 评论(0) 推荐(0)
词性标注 HMM
摘要：1.给定语料，统计语料中的词性为N，词组为M。 2.HMM关注3个参数 a.初始化概率 b.状态转移矩阵 N*N c.观测状态概率矩阵 N*M 3.状态转移矩阵：词A的词性为词性a，词B的词性为词性b，AB为相连词，从给定的语料中统计从词性a转换到词性b出现的次数/词性a转换到所有可能转换的词性的次 阅读全文
posted @ 2018-11-07 19:49 下路派出所 阅读(374) 评论(0) 推荐(0)
分词原理
摘要：1. 分词的基本原理 现代分词都是基于统计的分词，而统计的样本内容来自于一些标准的语料库。假如有一个句子：“小明来到荔湾区”，我们期望语料库统计后分词的结果是："小明/来到/荔湾/区"，而不是“小明/来到/荔/湾区”。那么如何做到这一点呢？ 从统计的角度，我们期望"小明/来到/荔湾/区"这个分词后句 阅读全文
posted @ 2018-10-28 14:20 下路派出所 阅读(217) 评论(0) 推荐(0)

1 2 3 下一页