自然语言处理NLP学习笔记一：概念与模型初探
- 前言
先来看一些demo，来一些直观的了解。
自然语言处理：
可以做中文分词，词性分析，文本摘要等，为后面的知识图谱做准备。
http://xiaosi.trs.cn/demo/rs/demo
知识图谱：
https://www.sogou.com/tupu/person.html?q=刘德华
还有2个实际应用的例子，加深对NLP的理解
九歌机器人：
微软对联机器人：
- NLP概述：
自然语言处理，是研究如何利用计算机技术对语言文本（句子，篇章或话语等）进行处理和加工的一门技术。
NLP的关键思想之一是将单词转换为数字向量，然后把这些数字向量放到机器学习模型中进行预测。
深度学习是NLP的关键技术之一。
自然语言处理是构建知识图谱的基础技术。
学科面临的主要挑战：
大量出现的新词语：例：佛系
无处不在的歧义：例：喜欢城市的年轻人
隐喻表达：例：在朋友圈潜水
不同语言的概念不同：翻译之间的理解
对应的核心挑战：
->语义分析
->语用场景的分析
- NLP应用举例：
一： 汉语分词
1. 最大匹配法（基于规则或模板的方法）
2. 基于n-gram的分词法（传统的统计方法，生成式）
3. 基于神经网络的分词方法（目前最主流的分词方法）
二： 机器翻译：
1. 基于模板/规则的方法
2. 基于语料库的方法
3. 基于神经机器翻译方法
三： 同声翻译：
技术应用现状：
1，各种 输入法；
2，语音
- 常见的NLP方法：
1.基于规则的方法
2.基于统计学习方法
---------------------------------------
基于统计方法的基本方法/框架：
框架：学习系统->模型->预测系统
原理：训练数据（样本），带标签，预测下一个输入后的输出
如买保险，买与不买是标签，已有买保险数据为样本。我们重点是做好训练模型
常用的统计模型：
模型主要是6，7种，侧重点不同，根据需要选择不同的模型使用即可。
1.统计模型
1) 语言模型（LM）--比较复杂
2) 隐马尔可夫模型（HMM）-----多分类问题（大于2的）
3）K-近邻（KNN）----数据量比较少可选用
4） 朴素贝叶斯法（NB）
5）决策树（DT）
6）最大熵（maximum entropy）
-------二类分类--------
7）支持向量机（SVN）
8）感知机
------序列标注-------
9）条件随机场（CRFConditional random fields）
基于统计学的一个算法，Viterbi算法：每次只保留最佳的算法
已有开源工具一大堆，这里不一一列出。
基于学习的基本方法：
人工神经网络最火的是深度学习
深度学习在2009年才取得重大突破，把识别率提高了百分之十几个点。
神经语言模型：
条件概率模型，统计之前出现次数的概率，预测概率最大化
计算机是没法理解人类语言的（意图），只能把出现概率最大的取出来，那么就需要大量的样本训练他。
神经网络分2种：
浅层学习：LR，SVM，Bayes,boosting
深度学习： CNN，RNN,DBM,AutoEncoder
CNN：卷积 RNN则不会过多约束
2个核心，1是卷积： 实际是一个加权运算；2是最大池化。
RNN：循环 CNN对于输入数据的维度约束是比较严重的，训练是啥，预测就是啥
LSTM（长短记忆神经网络，RNN的一种）核心过程：
3个门，每个门对应一个函数 。每个门的结果要么是0要么是1
遗忘门： 选择哪些遗忘
输入门： 决定输入什么
输出门：决定输出什么
---------------------------------------------------------
笔记：
1. N多的数学公式，要想深入学习，还得学好数学
2. 模型普通人就不要研究了
- 知识图谱
知识图谱与深度学习相当于两条路在走，未来会深度学习。
深度学习可以用来预测，知识图谱不能，知识图谱类似将所有知识穷举起来，搜索你要的知识就行。
知识图谱可以为深度学习提供知识，深度学习为知识图谱提供模型与工具构建。
知识图谱是基于语义网发展起来的。
语义网： 具有一定关系的网络
知识图谱实例：
- 文本挖掘
TF-IDF加权法
一堆概念与术语：
NLU 自然语言理解
NLP 自然语言处理
MT 机器翻译
HLT 人类语言技术，包括NLU，CL，MT
DL（deep learning） 深度学习
NN（Neural Networks）神经网络
RNN（Convolutional Neural Networks）：卷积神经网络
CNN：循环神经网络
LSTM：长短期记忆网络
n-gram：输入一句话，输出这句话的概率
Word Embedding(词嵌入)，将单词映射到向量空间里，并用向量来表示。
Word2vec 词向量表示，将相似的单词分组映射到向量空间的不同部分，即能学到单词与单词之间的关系。
Word2Vec有2种方法，skip-gram和CBOW。
skip-gram：输入一个词，然后试着估计其他词出现在该词附近的概率。
CBOW：连续词汇学习
