JetHu

摘要： 一.下载docker 镜像制作自己的docker镜像流程1.操作流程 （1）下载对应docker镜像的网站：国内：http://hub.daocloud.io/国外：https://hub.docker.com/（2）复制后直接执行，然后安装自己需要的环境，不要忘记vim编辑器，zip解压包等基础工 阅读全文

摘要： 论文What Does BERT Look At? An Analysis of BERT’s Attention 指出bert的多头注意力，不同的头可以学到不同的信息，有的学到词法、有的学到语法、语义。 论文地址：https://arxiv.org/pdf/1908.11365.pdf 举例如：现 阅读全文

摘要： 关系抽取分类： （一）限定域关系抽取 pipeline方式，先做实体识别再接关系分类任务 实体识别+关系分类联合模型 远程监督关系抽取（利用图谱三元组回标语料） （二）开放领域关系抽取 1.基于语法规则+依存句法分析树 A Syntax-based System for Chinese Open R 阅读全文

摘要： 1.在Transformer中实现单向语言模型如图所示，Attention矩阵的每一行事实上代表着输出，而每一列代表着输入，而Attention矩阵就表示输出和输入的关联。对于句子“北京欢迎你”，假定白色方格都代表0，那么第1行表示“北”只能跟起始标记<s>相关了，而第2行就表示“京”只能跟起始标记 阅读全文

摘要： 中文开源知识图谱： （1）中文通用百科知识图谱（CN-DBpedia） 介绍 CN-DBpedia是由复旦大学知识工场实验室研发并维护的大规模通用领域结构化百科，其前身是复旦GDM中文知识图谱。 CN-DBpedia主要从中文百科类网站（如百度百科、互动百科、中文维基百科等）的纯文本页面中提取信息， 阅读全文

摘要： CRF条件随机场 条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型 1.什么样的问题需要CRF模型 （1）我们有一个句子X=“我 是 中国 公民” 需要对这句话中的四个词标注词性，最简单的方法就是拿一组标注好词 阅读全文

摘要： Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition（Facebook AI 2019） 文献综述 1.摘要： 传统的语言模型无法为文本中的实体名称进行有效建模， 阅读全文

摘要： 参考文献：BERT+知识图谱：北大-腾讯联合推出知识赋能的K-BERT模型 地址：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/103790278 此前两篇关于知识图谱结合预训练的文章作为了解： ERNIE: Enhanced Repr 阅读全文

摘要： （一）专业领域的新词发现竞赛：“AIIA”杯-国家电网-电力专业领域词汇挖掘 地址：https://www.datafountain.cn/competitions/320/datasets （二）新词发现，基于信息熵和词的凝合度算法（无预定义词库） 参考文章：互联网时代的社会语言学：基于SNS的文 阅读全文

摘要： 这里面有很多坑，最大的坑是发现各方面都装好了结果报错 Loaded runtime CuDNN library: 7.3.1 but source was compiled with: 7.4.1，这是由于最新的tensorflow1.13需要用 Cudnn7.4.1编译。这个问题，StackOve 阅读全文