NLP | 序列标注 总结

简介

 

序列标注（Sequence Tagging）是一个比较简单的NLP任务，但也可以称作是最基础的任务。序列标注的涵盖范围是非常广泛的，可用于解决一系列对字符进行分类的问题，如分词、词性标注、命名实体识别、关系抽取等等。

有很多开源的中文分词工具，jieba、pkuseg、pyhanlp...

 

序列标注一般可以分为两类：

1、原始标注（Raw labeling）：每个元素都需要被标注为一个标签。

2、联合标注（Joint segmentation and labeling）：所有的分段被标注为同样的标签。

      命名实体识别（Named entity recognition， NER）是信息提取问题的一个子任务，需要将元素进行定位和分类，如人名、组织名、地点、时间、质量等。

      举个NER和联合标注的例子。一个句子为：Yesterday , George Bush gave a speech. 其中包括一个命名实体：George Bush。我们希望将标签“人名”标注到整个短语“George Bush”中，而不是将两个词分别标注。这就是联合标注。
 

BIO标注

      解决联合标注问题的最简单的方法，就是将其转化为原始标注问题。标准做法就是使用BIO标注。

      BIO标注：将每个元素标注为“B-X”、“I-X”或者“O”。其中，“B-X”表示此元素所在的片段属于X类型并且此元素在此片段的开头，“I-X”表示此元素所在的片段属于X类型并且此元素在此片段的中间位置，“O”表示不属于任何类型。

      比如，我们将 X 表示为名词短语（Noun Phrase, NP），则BIO的三个标记为：

（1）B-NP：名词短语的开头

（2）I-NP：名词短语的中间

（3）O：不是名词短语

    因此可以将一段话划分为如下结果;

 

 

 

      我们可以进一步将BIO应用到NER中，来定义所有的命名实体（人名、组织名、地点、时间等），那么我们会有许多 B 和 I 的类别，如 B-PERS、I-PERS、B-ORG、I-ORG等。然后可以得到以下结果：

 

 

 

举例：命名实体识别 

一段待标注的序列$𝑋={𝑥_{1},𝑥_{2},...,𝑥_{n}}$，我们需要对该序列的每一个$𝑥_{i}$预测一个对应的Tag，在通常情况下，我们对tag进行如下定义：

• B - Begin，表示开始
• I - Intermediate，为中间字
• E - End，表示结尾
• S - Single，表示单个字符
• O - Other，表示其他，用于标记无关字符

常见标签方案通常为三标签或者五标签法：

• IOB - 对于文本块的第一个字符用B标注，文本块的其它字符用I标注，非文本块字符用O标注
• IOBES：
• B，即Begin，表示开始
• I，即Intermediate，表示中间
• E，即End，表示结尾
• S，即Single，表示单个字符
• O，即Other，表示其他，用于标记无关字符

这样的tag并不是固定的，根据任务不同还可以对标签有一系列灵活的变化或扩展。对于分词任务，我们可以用同样的标注方式来标注每一个词的开头、结尾，或单字。如词性标注中，我们可以将标签定义为：n、v、adj...而对于更细类别的命名实体识别任务，我们在定义的标签之后加上一些后缀，如：B-Person、B-Location...这都可以根据你的实际任务来自行选择。

处理序列标注问题的常用模型包括隐马尔可夫模型（HMM）、条件随机场（CRF）、BiLSTM + CRF。

可参考： https://www.cnblogs.com/sandwichnlp/p/11618530.htmlhttps://www.cnblogs.com/sandwichnlp/p/11618530.html