摘要： 示例解释： 示例代码： 参考文献： 1. https://machinelearningmastery.com/use-word-embedding-layers-deep-learning-keras/ 2. https://kexue.fm/archives/4122 阅读全文

摘要： 长时依赖是这样的一个问题，当预测点与依赖的相关信息距离比较远的时候，就难以学到该相关信息。例如在句子”我出生在法国，……，我会说法语“中，若要预测末尾”法语“，我们需要用到上下文”法国“。理论上，递归神经网络是可以处理这样的问题的，但是实际上，常规的递归神经网络并不能很好地解决长时依赖，好的是LST 阅读全文

摘要： 在看keras文档embedding层的时候，不太理解其中的input_dim 和input_length 这两个参数，查阅了一下资料，记录下来。 keras.layers.Embedding(input_dim, output_dim, embeddings_initializer='unifor 阅读全文

摘要： numpy系列import numpya = numpy.array([[1,2], [3,4]])b = numpy.array([[5,6], [7,8]])a*b>>>array([[ 5, 12], [21, 32]])a.dot(b)>>>array([[19, 22], [43, 50] 阅读全文

摘要： BERT的新语言表示模型，它代表Transformer的双向编码器表示。与最近的其他语言表示模型不同，BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的BERT表示可以通过一个额外的输出层进行微调，适用于广泛任务的最先进模型的构建，比如问答任务和语言推理，无需针对具体任务 阅读全文

摘要： 支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic 阅读全文

摘要： 问题描述： 语句匹配是自然语言处理的最基本任务之一，是自动问答，聊天机器人，信息检索，机器翻译等各种自然语言处理任务基础。语句匹配问题的复杂性在于，匹配的要求不同，对匹配的定义也不尽相同，比如经典的语句复述判别问题，需要判断两句话是否仅仅是表述方式不同，但意义相同，而在Quora的的的问句匹配语料发 阅读全文

摘要： featuretools一种自动特征工程的工具。可快速生成较多类型的特征，取得不错的效果。 1、输入：把原始数据转换成featuretools的输入 2. 可以适当调整特征个数，防止训练的模型过拟合 3. 训练和预测 缺点：模型容易过拟合，需要Feature Selection 参考文献： 1. h 阅读全文

摘要： 字面意思理解，self attention就是计算句子中每个单词的重要程度。 1. Structure 通过流程图，我们可以看出，首先要对输入数据做Embedding 1. 在编码层，输入的word-embedding就是key，value和query，然后做self-attention得到编码层的 阅读全文

摘要： 本博文介绍用Google pre-training的bert（Bidirectional Encoder Representational from Transformers）做中文NER（Name Entity Recognition） 第一步： git clone https://github. 阅读全文