石头木

摘要： CNN4IE 项目地址：https://github.com/jiangnanboy/CNN4IE 本项目是本人打算使用CNN的不同变体进行信息抽取，未来会持续加入不同模型。 CNN4IE根据CNN的各种改进版本，对不同模型块进行融合，并将其用于中文信息抽取中。 Intro 目前主要实现中文实体抽取 阅读全文

摘要： 一.一篇文档的信息量是否丰富，可以简单利用信息熵来衡量它，计算公式如下，其中p(x)表示word在整篇文档的出现概率(此word出现次数 / 总词数)。 二.简单实现 public class DocEntropy { public static void main(String[] args) { 阅读全文

摘要： 记得好几年前用es做过标签画像统计，如今再看es时已是很生疏了，再用时已更新到了7.12版本了。以前用TransportClient客户端，现在出了而且是官方推荐用RestHighLevelClient客户端。 这几天用RestHighLevelClient时还是觉得比较方便的。现将一些基本常用功能 阅读全文

摘要： 一.关于gpt2的理论网上有很多资料(推荐https://jalammar.github.io/illustrated-gpt2/)，它源自transformer-decoder部分，话不多説。 下图是transformer、gpt以及gpt2的简要结构图，可以从中简单看出其中不同的部分： 和tra 阅读全文

摘要： 一.简介 大家都知道原始bert预训练模型有两大任务： 1.masked lm：带mask的语言模型 2.next sentence prediction：是否为下一句话 bert模型的训练数据有三部分，如下图： 1.字的token embeddings 2.句子的embeddings 3.句子位置 阅读全文

摘要： 一.模型结构 实现一个简单的孪生网络（结构如上图），做语义相似度： 1.从上图可看出整体的结构相对较简单，左右两边基本一致。A句和B句分别进入左右两个结构。输入到网络中是token embedding + position_embedding 2.再经过cnn-encoder进行编码 3.多头注意力 阅读全文

摘要： 一.简介 此模型采用bertBERT for Joint Intent Classification and Slot Filling进行意图识别与槽填充。 结构如下： 从上可知： 1.意图识别采用[cls]的输出进行识别 2.槽填充直接输出对应的结果进行序列标注，这里不使用mlm中的mask 3. 阅读全文

摘要： 一.简单介绍 此模型是对Convolutional Sequence to Sequence Learning中的encoder部分进行的改进。 原模型是用于机器翻译，这里我将稍加修改用来做问答中的slot filling和intent detection联合建模。 整体修改主要有以下几点： 1.使 阅读全文

摘要： 此分类模型是来自序列模型Convolutional Sequence to Sequence Learning，整体构架如上图所示。 原论文是用来做语言翻译，这里我将稍微修改用来做问答中的slot filling和intent detection联合建模。 本项目中的图片和原始代码是改自https: 阅读全文

摘要： 此分类模型是来自序列模型Convolutional Sequence to Sequence Learning中的encoder部分，这里暂且叫它带残差的cnn model，如上图所示。 1.句子token和其对应的position经过embedding后，逐元素加和作为source embeddi 阅读全文