书生浦语LLM全链路开源体系笔记
书生浦语LLM全链路开源体系
LLM介绍
-
大模型LLM成为发展通用人工智能的重要途径。
-
专用模型：针对特定人物，一个模型解决一个问题；通用大模型：一个模型应对多种任务、多种模态。
书生浦语LLM发展历程及LM2
-
InternLM -> InternLM-7B开源 + 全链路开源工具体系 -> 书生万卷1.0多模态预训练语料库 -> InternLM-Chat-7B + 开源智能体框架Lagent -> InternLM 123B参数量 -> InternLM-20B开源 +开源工具链升级 -> InternLM 2开源
-
InternLM2分为三个参数量级别7B、20B、123B，并且每个规格包含InternLM2-Base、InternLM2、InternLM2-Chat三个模型版本，各有偏重。
-
InternLM2回归语言建模本质，通过新一代数据清洗技术对高质量语料进行学习，有更好的建模能力。
-
LM2的亮点：超长上下文、结构化创作能力强、强大内生计算能力及数理能力。
-
在综合性上，LM2-7B和LM2-20B的能力均达到同量级开源模型领先水平。
从模型到应用的流程
-
模型选型（评测）
-
考虑业务场景是否复杂
-
如果业务场景复杂则对参数进行微调、续训
-
根据是否需要与环境交互判断是否需要构建智能体，或者直接对模型进行评测部署
书生浦语全链条开源开放体系
-
数据：开源数据集：书生万卷1.0 + 书生万卷CC
-
预训练：预训练框架：InternLM-Train、Intern-evo ->高拓展性、性能优化、主流技术兼容...
-
微调：微调框架：Xtuner ->多微调算法、多开源生态、自优化加速、硬件适配广...
-
部署：全流程解决方案：LMDeploy ->接口、轻量化、推理引擎、服务...
-
评测：评测体系：OpenCompass2.0司南大模型 -> CompassRank性能榜单、CompassKit评测全栈工具链、CompassHub评测基准社区...
-
应用：智能体框架及智能体工具箱：Lagent、AgentLego -> 支持多种类型智能体能力及多种大语言模型
