NLP 之自然语言处理
参考:
1、词袋的使用
分词和词性标注
特殊专业词汇不能被分成多个词
缺陷:
词条中不标准词条的词频
词条中不同词的权限一样,而实质上可能不一样
2、词编码
词编码需要保证词编码后的意义一样
问题处理:
1、分辨词语的细节,如美丽,多姿,好看,俊俏,迷人,标志,端庄
2、不同人对于词的使用会不一样,学语文的和学数学的人使用的词汇有偏差
3、无法发现新词
4、难以发现新词
3、One-hot编码
语料库:
John likes to watch movies.Mary likes too.
John also likes to watch football games
词典:
{"John":1, "likes":2, "to":3, "watch":4, "movies": 5, "also":6, "football":7 , "games": 8 , "Mary": 9 , "too" :10}
数字表示词在词向量中的位置
One-hot 表示
John: [1, 0 ,0 ,0 ,0 ,0 ,0 ,0 ,0 ,0]
likes: [0, 1 ,0 ,0 ,0 ,0 ,0 ,0 ,0 ,0]
每个单词有唯一索引,但是词典中的书序和句子中的顺序是没有关联的
4、基于one-hot编码的文档表示:
文档的向量表示,可以直接将各词的词向量(上面的one-hot编码)表示加和
两种表示方式,一种是计算词频,一种不计算词频。
John likes to watch movies.Mary likes too.的词向量表示1:
[1, 2 ,1 ,1 ,1 ,0 ,0 ,0 ,1 ,1]
John likes to watch movies.Mary likes too.的词向量表示2:
[1, 1 ,1 ,1 ,1 ,0 ,0 ,0 ,1 ,1]
5、词的权重
上面介绍的方法中,很多词的重要性可能很低,有些词重要性很高,但是用上面的词袋模式无法体现出来
为了体现不同词的重要性,于是取消上面的两种方法,改而使用频率模型,方法就是TF-IDF模型
TF-IDF的使用
词在当前文档中出现的次数成正比
词在所有文档中出现的次数成反比
这样上面的统计,可能最后变成这样的结果
[ 0.693, 1.386, 0,693, 0.693, 1.099, 0, 0, 0, 0.693, 0.693 ]
6、Bi-gram和N-gram
如下:
Mike love you
You love mike
不论是使用One-hot的词袋模型,还是词的权重模型,两个句子表达的意义是一样,但是对于用户而言,完全意义不一样。
对于以上的例子,做如下表示:
第一个句子的表示:
词典:
{"Mike":1, "love":2, "you ":3 } #1,2,3表示单词的顺序
[1,1,1]
词典:
{"Mike":3, "love":2, "you ":1 } #1,2,3表示单词的顺序
[1,1,1]
这样当句子里的词语比较多的时候,需要的存储空间会以几何倍数往上增长
7、语言模型:
一句话(词组合)出现的概率
常用的语言模型的使用算法如下:
举例:
我爱北京天安门
我出现后,爱出现的概率,即:
P(我爱北京天安门) = P(我) * P(爱| 我) * P (北京 | 我, 爱) * P(天安门 | 我, 爱, 北京)
使用图形中的概率公式分析:
分词对象:
Mary likes too
现在根据句子出现的先后顺序,使用条件概率来表达这个句子的语言模型
P(Mary likes too) = P(too | Mark, likes) * P(likes | Mary) * P (Mary)
可能性一: 当每个词出现的概率与前一个词出现的概率没有相关性时,上面的概率模型就变成下面的了:
P(Mary likes too) = P(too) * P(likes) *P(Mary)
可能性二:当每个词出现的概率与前一个词出现的概率有相关性时,上面的概率模型就变成下面的了:
P(Mary likes too) = P(too | likes) * P(likes| lMary) *P(Mary)
当然根据可能性分析,每个词的出现,可能不仅仅与前面的一个词有关系,可能还与前面n多个词有关系。
通常n的取值为5-10
另外:由于概率模型的连乘会导致概率变得很小,所以实际使用时会对概率取对数,让乘法变成加法
8、使用词向量离散表示的问题
无法衡量词向量之间的关系
如以下向量表示一组词,词中存在酒店,宾馆,旅社。
则有:
酒店: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0 ]
宾馆: [0, 0, 0, 0, 1, 0, 0, 0, 0, 0 ]
旅社: [0, 0, 0, 0, 0, 0, 0, 0, 1, 0 ]
这种表示的问题: 太稀疏, 很难捕捉文本的含义,各种度量方式都无法获取者三个词表达一种意义
词表维度随着语料库增长膨胀
n-gram 词序列会随着语料库膨胀更快
数据稀疏问题
当求词频率时,如果语料库很小,会造成概率很难求(需要平滑处理)
9、分布式表示
10、用一个词附近的其它词来表示该词
该方法的实现,需要依赖分布式,单独自己实现难度太大
主题理解:
如要查看一个人的消费水平,可以通过收集这个人的所有朋友消费水准,来定位出这个人的消费水平
共现矩阵(concurrence matrix)
Word-Document的共现矩阵主要用于发现主题,用于主题模型,如LSA(Latent Semantic Analysis)
局域窗中的Word-Word 共现矩阵可以挖掘语法和语义信息
I like deep learning
I like NLP
I enjoy flying
window length设为1 (一般实际应用时设为5~10)
使用对称的窗函数
以下矩阵中计算了每个单词,左右两边与其它单词一起出现的次数,因此在实际使用时可以通过抽取每一行或者每一列来定位该词的意义。
|
counts
|
I
|
like
|
enjoy
|
deep
|
learning
|
NLP
|
flying
|
.
|
|
I
|
0
|
2
|
1
|
0
|
0
|
0
|
0
|
0
|
|
like
|
2
|
0
|
0
|
1
|
0
|
1
|
0
|
0
|
|
enjoy
|
1
|
0
|
0
|
0
|
0
|
0
|
0
|
0
|
|
deep
|
0
|
1
|
0
|
0
|
0
|
0
|
0
|
0
|
|
learning
|
0
|
0
|
0
|
0
|
0
|
0
|
0
|
1
|
|
NLP
|
0
|
1
|
0
|
0
|
0
|
0
|
0
|
1
|
|
flying
|
0
|
0
|
0
|
0
|
0
|
0
|
0
|
1
|
|
.
|
0
|
0
|
0
|
0
|
1
|
1
|
1
|
0
|
将共现矩阵行或者列作为词向量时:
1)向量维数随着词典大小线性增长
2)存储整个词典的空间消耗非常大
3)一些模型如文本分类模型会面临稀疏性问题
4)模型会欠稳定
稀疏性问题处理:降维
1) PCA
2) SVD
SVD 伪代码:
import numpy as np
la = np.linalg
words = []
x = np.array([[],
[],
[]])
U, s, Vh = la.svd(x, full_matrices = False)
SVD 降维问题:
1)计算量随语料库和词典增长膨胀太快,对X(n,n)维的矩阵,计算量O(n^3)。而对大型的语料库,n~400k,语料库大小1~60B token
2) 难以为词典中新加入的词分配词向量 。新加入词后,词向量发生变化。
3)与其它深度学习模型框架差异大
svd知识参考:
11、用神经网络实现概率P:NNLM(Neural Network Language model)
当语言模型提升到5-ngram时,向量矩阵会很稀疏,共现矩阵的统计计算,需要存储大量语料,且计算复杂,于是提出来新的模型就是NNLM。
算法模型
直接从语言模型出发,将模型最优化过程转化为求词向量表示的过程
概率模型 ---> 过程模型
概率模型:需要预先计算每一个词出现的概率
过程模型:在喂词的过程中计算,用参数来描述
说明:对于一个有l个基元(基元可以理解为词)构成的句子s = w1w2...wl,其概率计算公式可以表示为:
P(s) = P(w1)P(w2|w1)P(w3|w1w2)......P(wt|w1....wl-1)
将以上的概率模型,改良成NNLM的语言模型:
模型解析:
a) 概率连乘会导致概率变很小,取对数后使用加法计算
b)在NNLM模型中,下一个词的出现概率只与前面的n-1个单词有关,n为窗口。
假定t是第10个词,n=5,则决定第10个词出现的词,为第6,7,8,9
c)该目标函数为一个最大似然估计函数,即在前n-1个词出现的情况下,出现第n个词,概率最大
模型距离:
如:我爱北京天安门
模型特征:
使用了非对称的前向窗口函数,窗长度为n-1
滑动窗口遍历整个语料库求和,计算量正比于语料库大小
无论句子长度为多少,窗口限制了第t个词的出现,只与前n-1个有关
概率P满足归一化条件,这样不同位置t处的概率才能相加。
可以理解为当:我,爱,北京,三个词都出现的情况下,后面的可能出现的词如:天安门,英雄纪念碑,大红门,前门等等,这些词的概率总共加起来为1
稀疏矩阵转稠密矩阵
以n=4为例说明
即当w1,w2,w3已知时,预测w4的词。这里所有词的输入都是one-hot编码
假设在实际应用实例中,词库一共有10W个词,则任意一个词都是1*10W的一个行(列)向量,且每个词库中的不同词,都是全0的1*10W的向量中,不同位置处有一个1.
假设
w1 = [1, 0, 0 .....]
w2 = [0, 1, 0, ....]
w3 = [0, 0, 1 .....]
...是余下的10W-3个0
求投影层:
现在,在已知条件下,求w4的可能值。这里借助机器学习的思想,先假设w4的可能值为10W个词中的任意300个词。且这个300个词也是one-hot编码
300个列向量可以使用HMM获取(工业上一般取300~500维)
现将这300个列向量组合成一个矩阵得到一个 300 * 10W 的矩阵。
然后做矩阵乘法运算 [300 * 10W] * [10W *1 ] = [300 * 1]
得出的结果就是投影层。 实现了稀疏到稠密的变化
这里的10W * 1的向量就是 w1 , w2, w3 的转置向量。 [300 * 10W] 分别乘以 w1,w2,w3,会得到三个不同的300*1的向量。然后将者三个向量进行拼接,就可以得到一个900*1的向量。
隐藏层:
缺陷:
计算量级太大
12、word2vec:CBOW(连续词袋)
word2vec需要基于大量语料的基础上,才能做分析。
word2vec包含两种模型:CBOW和skip-gram
skip-gram:通过学习来预测,我喜欢和机器学习 。通过中间的词,预测词两边的词
CBOW : 我喜欢机器学习,去预测学习。通过两边的词,预测中间的词。
CBOW通俗定义:输入已知上下文,输出对下个单词的预测,比如:我喜欢学习机器学习,已知上文“我”、“喜欢”,下文“机器学习”,来预测“学习”。
与NNLM相比:
无隐层:
使用双向上下文窗口
上下文次序无关(BoW)
输入层直接使用低维稠密表示
投影层简化为求和(平均)
13、负例采样
14、word2vec:skip-gram
skip-gram需要的语料库比CBOW语料库更大
词语相似度
作为特征用于命名实体识别
15、word2vec存在的问题
-
对每个local context window单独训练,没有利用包含在global con-currence矩阵中的统计信息
-
对多义词无法很好的表示和处理,因为使用来唯一的词向量。
16、word2vec的应用场景
找相似词
词的特征扩充
关系挖掘
序列点击数据的分析
相关词挖掘 如输入雷军,出来小米,输入手机,会有小米,乔布斯等
由词向量构建句子向量
根据不同语种里相同词的词向量之间的特定关系做机器翻译
推荐系统 如根据文章,商品信息,推荐类似的
文本分类,
情感分析 语义相似性使用
使用glove可以使用全局词做词向量。目前用的不是很多
https://github.com/dav/
gensim 工具,用于中文处理
案例:
根据以上案例,使用下面的语料训练
搜狗全网新闻语料地址:
http://www.sogou.com/labs/resource/ca.php

浙公网安备 33010602011771号