模型发展史回顾

1、ai1.0通用性差，单任务，比如：深蓝下棋
ai2.0模型发展阶段
最早技术，词向量技术（自然语言用向量来表示）
猫这个词在词向量里面就是一个坐标，每个词在向量里面有一个唯一坐标，形成坐标字典
好处：自然语言用数学语言表示
缺点：没有办法表达词语和词语之间的关系，效率不高

2、词嵌入：
对语言进行训练、预训练，通过大量的文章资料，让词向量具备语音信息，这些词向量就带上了额外的信息
好处：提升模型效果，在后续其他任务进行迁移（大语言模型预训练的初始原型）
猫、狗通过Embeding词嵌入，通过坐标标注之后，用低维向量的表达，语义相似向量空间相近（猫狗同属于宠物这个向量域），把这个任务迁移到其他任务去（相当于技能迁移了）

3、在词嵌入之后，出现句向量、全文向量（根据全文信息去分析下文，根据本文翻译为另外一种语言RNNLSTM，代表模型可以有效的去处理这种持续性的序列数据，如：what time is it?）可以做到短期记忆与选择性遗忘
一层一层处理，不能并行
做到ai识别

4、理解上下文，BRT大模型，完成完形填空
男：他，女：她，动物：它...
真预训练模型时代，支持并行训练（替代了RNN,CNN这样的神经网络），具备一定的语义识别能力

5、openai
超大模型，模型统一时代
谷歌T5 Prompt模型
把提示词告诉模型，把答案训练出来，不停训练
用户使用：通过提示词来引导它
chatgpt,gpt4效果很好，文生图，生成视频

发展是从点到面的过程，词向量--->神经网络--->单线--->并行训练--->大规模、超大规模的训练集（大语言模型）

大模型的参数：代表模型的复杂程度。参数越大，容量空间+算力越大，能力越强
能力的强弱，通过其回答问题的提炼问题看出来

底模：就是预训练，也就是它训练的材料大部分是英文的图文，对英文支持比较好

llama：比较流行的开源模型
ChatGLM6B:清华大学，10b以下，中文最强大模型