AI大模型LLM-Day0

一、课程介绍

1、针对的学习对象

　　计算机对象

　　　　非计算机对象

2、针对学习方向

3、涉及领域

　　脑科学

4、AI涉及方向

　　NLP自然语言

　　　　图灵测试——测试者通过计算机向机器问题，机器理解和分析做出回应，让人类分不清楚是否是人在做出回应。

　　　　图灵论文——鸭子定律，模仿游戏，制作成模仿游戏电影；

　　　　自然语言处理——2011IBM开发Watson DeepQA system；

　　　　处理及应用：命名实体识别、词性成分（依赖关系）、中文自动分词（标注空格）；

　　　　　　　　　　搜索引擎、文本匹配（广告投放商给搜索引擎付费）、人工智能音箱、机器翻译、情感分类和意见挖掘；

　　　　情感分类：Pulse of the Nation工作；

　　　　社会学研究：Google Book N-gram应用；

               心理语言风格分析：

　　PLMS大模型

　　　　如何得到更好的预训练语言模型？

　　　　如何把预训练语言模型用在更多的任务上？

5、自然语言基础

　　词的表示目标：计算词的相似度计算；

　　　　例如：词相似度举例

　　　　　　　Star与Sun相似

　　　　　　　Good相似词举例：同义词，枚举所有词，good,goodness等；存在问题，　apple苹果，现实环境指苹果公司；

　　　受限词典标注，需要大量人工来构建词典，期望建立一个独立的符号，和词表一样长的向量，只在一个维度上表示，通过不懂位置上标识0和1；

　　　改进方法：伴随某个词经常出现的上下文的词，用上下文表示词的含义，通过一个新向量表示上下文；存在劣势存储占用非常庞大；

　　　深度学习：即稠密的向量空间导致的空间问题，建立分布式的低维向量空间来解决；

          Language Model：根据前面词，预测给出后面的词；让计算机根据语法和前面的词及词性，给出后续的词，甚至等同于人类说的一句话；

          未来词只会收到前面词的影响；

          语言模型的构建：morkov的假设；N-gram，例如：4gram，前面出现3个词，第4个词出现的概率，分析连续出现4个词的概率；N-gram在一个向量中出现同一个词的概率

 

二、工具介绍

三、实践介绍

大模型技术

大模型压缩