随笔分类 - 自然语言处理
摘要：1.在Transformer中实现单向语言模型如图所示，Attention矩阵的每一行事实上代表着输出，而每一列代表着输入，而Attention矩阵就表示输出和输入的关联。对于句子“北京欢迎你”，假定白色方格都代表0，那么第1行表示“北”只能跟起始标记<s>相关了，而第2行就表示“京”只能跟起始标记
阅读全文
摘要：中文开源知识图谱： （1）中文通用百科知识图谱（CN-DBpedia） 介绍 CN-DBpedia是由复旦大学知识工场实验室研发并维护的大规模通用领域结构化百科，其前身是复旦GDM中文知识图谱。 CN-DBpedia主要从中文百科类网站（如百度百科、互动百科、中文维基百科等）的纯文本页面中提取信息，
阅读全文
摘要：CRF条件随机场 条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型 1.什么样的问题需要CRF模型 （1）我们有一个句子X=“我 是 中国 公民” 需要对这句话中的四个词标注词性，最简单的方法就是拿一组标注好词
阅读全文
摘要：Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition（Facebook AI 2019） 文献综述 1.摘要： 传统的语言模型无法为文本中的实体名称进行有效建模，
阅读全文
摘要：参考文献：BERT+知识图谱：北大-腾讯联合推出知识赋能的K-BERT模型 地址：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/103790278 此前两篇关于知识图谱结合预训练的文章作为了解： ERNIE: Enhanced Repr
阅读全文
摘要：（一）专业领域的新词发现竞赛：“AIIA”杯-国家电网-电力专业领域词汇挖掘 地址：https://www.datafountain.cn/competitions/320/datasets （二）新词发现，基于信息熵和词的凝合度算法（无预定义词库） 参考文章：互联网时代的社会语言学：基于SNS的文
阅读全文
摘要：这里面有很多坑，最大的坑是发现各方面都装好了结果报错 Loaded runtime CuDNN library: 7.3.1 but source was compiled with: 7.4.1，这是由于最新的tensorflow1.13需要用 Cudnn7.4.1编译。这个问题，StackOve
阅读全文
摘要：Word2Vec 词向量的稠密表达形式（无标签语料库训练） Word2vec中要到两个重要的模型，CBOW连续词袋模型和Skip-gram模型。两个模型都包含三层：输入层，投影层，输出层。 1.Skip-Gram神经网络模型（跳过一些词） skip-gram模型的输入是一个单词wI，它的输出是wI的
阅读全文
摘要：参考论文： GloVe: Global Vectors forWord Representation 参考博客：https://blog.csdn.net/coderTC/article/details/73864097 理解GloVe模型： glove 模型类似于word2vec模型，都是一种词的
阅读全文
摘要：LSA的工作原理： How Latent Semantic Analysis Works LSA被广泛用于文献检索，文本分类，垃圾邮件过滤，语言识别，模式检索以及文章评估自动化等场景。 LSA其中一个目的是解决如通过搜索词/关键词（search words）定位出相关文章。如何通过对比单词来定位文章
阅读全文
摘要：目前最快速Kmeans算法，并由java实现！面对很大的K值表现依然很好。 代码地址： https://github.com/Jethu1/fastKmeans #1.这是一个由java实现的的，多线程Kmeans聚类算法； #2.在聚类的选种阶段分别实现了Kmeans++算法和NIPS 2016的
阅读全文
浙公网安备 33010602011771号