大模型科普

1、大模型科普

一、大模型发展

GPT-1:2018年首个生成式预训练transformer无监督预训练和有监督微调
GPT-2： 训练数据量参数扩大至15亿，无监督训练、无样本训练 提升生成能力 文本响应
GPT-3：参数扩大1750亿 通过“上下文学习”概念，实现少样学习（单样本事例）任务的高性能
GPT-3.5：模型微调 对话互动型聊天 机器人程序 指令任务构造 对话连贯性 指令学习 人工智能反馈
GPT-4：接收图像生成文本、拓宽应用场景（图文问答） 多模态处理
GPT-4o:文本输入上 进一步扩展音频和图像的处理能力  多模型输入输出（文本、图像、声音、电影）标志样本匹配
GPT-o1:未来搜索的起点 可能将在模型架构 算法优化 多模态融合等实现新的突破

总结：从文本交互-->图文交互-->多模态交互(视频、音频、语言翻译等)

二、大模型定义

采用transformer架构、大规模参数、多任务学习能力和强泛化能力的深度学习模型

transformer架构：由编码器、解码器组成，用编码器打包成句子，解码器拆包翻译，自制力机制让每个字与其他字对话。例如：看到吃就想起苹果而不是天空。

大规模参数：AI所包含的及其庞大数量的可调节数值。这些参数决定着模型如何处理输入的数据并产生输出值。

多任务学习：训练策略，模型同时学习多个相关或者直接不相关的任务。同时接收到不同任务的输入数据，并学习优化一个结合所有任务损失的总体目标函数，触类旁通的能力。

强泛化能力：AI模型在从未见过的、全新的数据或任务上，依然能够表现良好的能力。它不仅仅能记住训练数据，更能理解数据背后的本质规律和通用原则，并能应用到新的场景中。就是举一反三的能力。

三、分类

语言大模型：文本交互输入输出

视觉大模型：输入图像、输出图像的ID和位置（人脸识别、物体分类、物体检测等）

多模态大模型：文生图和图生文任务，能够处理和理解多种类型数据（文本、图像、声音、视频等）

时序大模型：时间序列数据预测的深度学习模型，预测未来时间点上的值或事件（股票预测） 难点：获取数据难

四、发展历程

从word2vec--->RNN(循环神经网络)/LSTM(长短期记忆网络)--->transformer/BERT/GPT系统

word2vec：自然语言处理中生成词向量的重要技术，把单词变成数学向量，意思相似靠在一起。例如：男人——国王，女人——王后。

RNN：循环神经网络，有记忆的流水线，按顺序处理数据，当前结果受前面输入影响。但是长文本容易忘记开头内容。

LSTM:变种长短时记忆网络,用门控机制（输入门、输出门、遗忘门）控制记忆，解决了传统RNN长期记忆依赖问题。类型听讲座边听边记忆，忘记不重要的细节。

Transformer:由编码器、解码器组成，用编码器打包成句子，解码器拆包翻译，自制力机制让每个字与其他字对话。例如：看到吃就想起苹果而不是天空。

BERT:谷歌开发的“语言理解专家”，能像人类一样读懂一句话的上下文，预训练和微调。

CNN:卷积神经网络，卷积层扫描图片，进行压缩，把压缩后的图片碎片拼接起来，综合识别。模仿人脸AI视觉系统。例如：人脸识别，自动驾驶，医学影印。

vit(vision transformer):视觉transformer，把图片当成文字一样处理识别，首次证明无需CNN卷积神经网络。例如：综合耳朵、胡须等特征识别出猫。

开集模型：传统模型就像答选择题一样，而开集模型可以回答训练时未见的类别。例如：安装摄像头识别未知物品就会报警。

LLM(大模型)：海量文本训练的超级对话。能写作、编码、翻译，核心是规模效率，参数越多越聪明。例如：GPT训练参数达到万亿级别。

TimeGPT：首个时序预测基础模型，用transformer架构分析历史数据规律，预测未来趋势。例如：预测股市、预测彩票等。

五、面临的问题

算力资源消耗巨大:需要大量的CPU和显卡资源以及消耗用电量。
算力资源分配不均:美国对技术垄断、闭源，国内大公司对商业先进模型闭源。
数据获取难度高：涉及到数据隐私问题，隐私数据一般不公开。比如过去股市、股民数据。
模型幻觉问题：对敏感问题回答存在伦理问题，敏感词识别。比如：台湾是否是中国的？
架构局限性：架构计算复杂度越来越高，数据处理能力有瓶颈。
实时性要求：计算复杂度高导致响应延迟、串行解码（编码解码）、资源消耗大等技术限制，同时与应用场景的高实时性需求存在显著差距。
应用经验不足：AI与公司业务结合刚刚起步，存在行业融合实战经验不足。
行业认知障碍：每个行业的专业知识不同，模型对专业性问题回答存在歧义或不够专业。

学习方法：为什么？  是什么？  怎么做？  什么时候做？