随笔分类 -  NLP

• 宗成庆自然语言理解笔记 02 数学基础
  摘要：原文地址：https://www.jianshu.com/p/e528a9c6a509 2.1 概率论基础 全概率公式 贝叶斯法则(Bayes' theorem) 贝叶斯决策理论(Bayesian decision theory) 2.2 信息论基础 熵(entropy) 熵又称为自信息(self 阅读全文
  posted @ 2019-05-13 08:54 cherrychenlee 阅读(503) 评论(0) 推荐(0)
• 宗成庆自然语言理解笔记 01 绪论
  摘要：原文地址：https://www.jianshu.com/p/6daf218d2550 1.1 基本概念 + 自然语言指人类使用的语言，如汉语、英语等。 + 语言的两个基本属性：文字和声音。 + 自然语言处理 或称自然语言理解(Natural Language Understanding, NLU) 阅读全文
  posted @ 2019-05-13 08:19 cherrychenlee 阅读(482) 评论(0) 推荐(0)
• 文本表征：SoW、BoW、TF-IDF、Hash Trick、doc2vec、DBoW、DM
  摘要：原文地址：https://www.jianshu.com/p/2f2d5d5e03f8 一、文本特征 （一）基本文本特征提取 + 词语数量 常，负面情绪评论含有的词语数量比正面情绪评论更多。 + 字符数量 常，负面情绪评论含有的字符数量比正面情绪评论更多。 + 平均词汇长度 平均词汇长度=所有单词长 阅读全文
  posted @ 2019-05-01 20:46 cherrychenlee 阅读(1283) 评论(0) 推荐(0)
• 词表征 3：GloVe、fastText、评价词向量、重新训练词向量
  摘要：原文地址：https://www.jianshu.com/p/ca2272addeb0 （四）GloVe GloVe本质是加权最小二乘回归模型，引入了共现概率矩阵。 1、基本思想 GloVe模型的目标就是获取每个词的向量表示$w$。GloVe认为，$w_i$、$w_j$、$w_k$通过某种函数$F$ 阅读全文
  posted @ 2019-05-01 20:09 cherrychenlee 阅读(2165) 评论(0) 推荐(0)
• 词表征 2：word2vec、CBoW、Skip-Gram、Negative Sampling、Hierarchical Softmax
  摘要：原文地址：https://www.jianshu.com/p/5a896955abf0 2）基于迭代的方法直接学 相较于基于SVD的方法直接捕获所有共现值的做法，基于迭代的方法一次只捕获一个窗口内的词间共现值。 好的语言模型中，有意义的句子高概率，无意义的句子即使语法正确也低概率。 在得到输入词向量 阅读全文
  posted @ 2019-05-01 19:54 cherrychenlee 阅读(1038) 评论(0) 推荐(1)
• 词表征 1：WordNet、0-1表征、共现矩阵、SVD
  摘要：原文地址：https://www.jianshu.com/p/c1e4f42b78d7 一、基于知识的表征 参见图1.1，WordNet中包含同义词集(synonym sets)和上位词(hypernyms, is a关系)。 其存在的问题为： + 作为资源来说是好的，但是它失去了词间的细微差别； 阅读全文
  posted @ 2019-05-01 19:46 cherrychenlee 阅读(990) 评论(0) 推荐(0)