【Stanford - Speech and Language Processing 读书记录 】1、Intro

花了两周时间，把Stanford的Speech and Language Processing（https://web.stanford.edu/~jurafsky/slp3/） 的一些章节快速看了一遍。

一部分是英语水平，一部分是知识的储备不足，有不少知识点未能消化，也有不少的遗忘。

计划在这个学期对阅读过的章节（2 - 9， 15，17）进行一个回顾和总结，为以后的NLP学习打好基础。

这个学期比较忙，总结和回顾不一定会定时， 但一定会坚持。

 

Chapter:

2: regular Expressions, Text Normalization, Edit Distance

3: N-gram Language Models

4: Naive Bayes and Sentiment Classification

5: Logistic Regression

6: Vector Semantics and embeddings

7: Neural Networks and Neural Language Models

8: Sequence Labeling for Parts of Speech and Named Entity

9: Deep Learning Architectures for Sequence Processing

15: Logical Representations of Sentence Meaning

17: Information Extraction

 

Brief Introduction

第二章介绍的正则表达式、文本规范化和编辑距离。正则表达式用于模式匹配； 文本规范化中介绍了词标记化、词规范化、分割句子；编辑距离中，一个词通过字母的删除、插入、替换操作转换为另一个词，通过对这些操作的计算，衡量两个词之间的相似程度，应用于文本纠错等方面。编辑距离的计算运用到了动态规划算法。

第三章介绍n-gram模型，在语言模型中可以预测n个单词之后出现某个单词的概率，判断一个句子后最有可能出现的单词。常见的有bigram, 3-gram, 4-gram。

第四章介绍朴素贝叶斯，朴素贝叶斯是一种生成模型，通过贝叶斯定理以及独立性假设，利用文本中的单词对文本进行分类。广泛应用于情感分析等领域。 应用朴素贝叶斯可以有多种优化的方法，如平滑方法、考虑否定词、一个文本中多次出现的单词仅记为一次、对特定任务利用相关的字典等。之后介绍了评估、验证方法。

第五章介绍逻辑斯蒂模型， 逻辑斯蒂模型是一种判别模型， 可以通过对文本特征的学习对文本进行分类。该模型的学习运用了交叉熵损失函数、梯度下降等技巧。最后介绍了正则化方法和多元逻辑斯蒂回归。

第六章介绍了语义向量和嵌入。介绍分为稀疏的语义向量和稠密的语义向量两部分。第一部分中，介绍了单词-文本矩阵和单词-单词矩阵，可以用来衡量文本之间、单词之间的相似度，其中介绍了td-idf和PMI算法，可以优化模型、解决可能的错误。考虑到稀疏矩阵/向量的一些问题，第二部分引入了嵌入（embeddings），介绍了word2vec方法。通过skip-gram算法学习单词向量，获得单词的嵌入向量。通过嵌入向量可以很好地完成文本分类等任务。

第七章介绍神经网络和神经网络语言模型，包括神经网络模型、学习算法（反向传播）、神经网络在语言模型的应用——可以将文本单词的嵌入向量作为神经网络的输入，可以应用于单词的预测以及文本的分类。

第八章介绍线性标注及其在词性判别和命名实体的应用。在对词性判别和命名实体的应用背景做简单说明后，着重介绍了马尔科夫链和条件随机场的模型和学习算法。

第九章延续前几章介绍了用于序列处理的深度学习架构。回顾之前的语言模型和提出前文遗忘问题后，介绍了循环神经网络（RNN），以及长短期记忆（LSTM），注意力机制（self-attention networks）

第十五章介绍了句意的逻辑表达。在语义模型框架下具体介绍了一阶逻辑（First Order Logic），包括基本概念和事件、状态、时态表示。最后介绍了描述逻辑。

第十六章介绍了信息抽取，包括关系抽取、事件抽取、时态抽取等。