摘要: ![image](https://img2024.cnblogs.com/blog/3051960/202510/3051960-20251027222803269-244610082.png) ![image](https://img2024.cnblogs.com/blog/3051960/202510/3051960-20251027222937750-822000871.png) 阅读全文
posted @ 2025-10-27 22:28 sakuraLGGM 阅读(3) 评论(0) 推荐(0)
摘要: L1G3-浦语提示词工程实践 1. 提示工程 1.1 什么是提示词 根据大模型的应用领域,可以把提示词分为五类。其中,“文本生成”提示词是最基础最重要的。 提示词是调用生成式AI能力的基础接口。 提示词调用生成式AI能力的两个阶段如下: 大模型词元预测的原理: 获取输入文本,模型处理获取文本特征 依 阅读全文
posted @ 2025-03-08 17:22 sakuraLGGM 阅读(120) 评论(0) 推荐(0)
摘要: L2G3-LMDeploy 量化部署进阶实践 1. LMDeploy部署模型 1.1 什么是模型部署? 1.2 一个大语言模型部署框架可以提供什么? LMDeploy提供了大语言模型部署的全链条开源工具,能够十分便捷地帮助用户部署自己大模型应用。 推理引擎与大模型的关系(from claude 3. 阅读全文
posted @ 2025-03-01 12:51 sakuraLGGM 阅读(421) 评论(0) 推荐(0)
摘要: L2G2-Lagent 自定义你的 Agent 智能体 1. Agent 入门 1.1 Agent 是什么 Agent 的核心是将感知,推理和行动结合成一个闭环。Agent 通过感知器感知外部的环境,获取输入的数据。然后输入数据到某种形式中(比如模型),它负责处理输入数据,制定行动策略。随后执行器根 阅读全文
posted @ 2025-03-01 12:49 sakuraLGGM 阅读(201) 评论(0) 推荐(0)
摘要: L1G6-OpenCompass 评测书生大模型实践 1. 大模型评测入门 1.1 评测重要性和挑战 解释: 超级对齐的必备组件:大模型安全问题日益突出,人工监管能力有限,需要有基于评测的安全监督。 数据污染:有的模型可能在评测集上训练,得到的分数不可信。 评测成本:客观题数量较多时,大模型推理消耗 阅读全文
posted @ 2025-03-01 12:47 sakuraLGGM 阅读(223) 评论(0) 推荐(0)
摘要: L1G4-InternLM + LlamaIndex RAG 实践 1. RAG技术 1.1 RAG技术概述 解决的问题: 生成幻觉:不知道的东西乱说 过时知识:大模型的训练是一次性的而不是实时的,不能及时获取最新的知识 缺乏透明和可追溯的推理过程:大模型给出的答案可能是对的,但我们不知道是怎么得到 阅读全文
posted @ 2025-03-01 12:45 sakuraLGGM 阅读(234) 评论(0) 推荐(0)
摘要: L2G4-InternVL 多模态模型部署微调实践 数据集样本数量 = batch_size * accumulative_counts * step 由于显存有限,不能将数据集一次投入到模型中进行前向传播、计算损失、反向传播和参数更新,而是将数据分成若干个小批次(batch)。每个批次会通过前向传 阅读全文
posted @ 2025-02-25 19:56 sakuraLGGM 阅读(116) 评论(0) 推荐(0)
摘要: L1G5-XTuner 微调个人小助手认知 1. 概念明晰 1.1 指令微调的概念 首先我们要认清指令微调的大模型训练过程中所属的位置: 大模型的训练过程可以分成预训练和后训练两个阶段: 而指令微调就是后训练的第一步: 指令微调这一步有三种范式,要注意第三种范式也叫做指令微调。 其中第二和第三种范式 阅读全文
posted @ 2025-02-17 20:48 sakuraLGGM 阅读(170) 评论(0) 推荐(0)
摘要: L1G2-玩转书生「多模态对话」与「AI搜索」产品 基础任务 MindSearch 网址 问题:目前生成式AI在学术和工业界有什么最新进展? MindSearch将我提出的问题拆分为了两个子问题,并分别搜索,整合得到最终回复。 对子问题“学术界生成式AI进展”的解答: 对子问题“学术界生成式AI进展 阅读全文
posted @ 2025-02-17 20:47 sakuraLGGM 阅读(21) 评论(0) 推荐(0)
摘要: L1G1-书生浦语大模型开源开放体系 一、开源历程与发展 书生·浦语(InternLM)大模型的开源发展历程展现了其在性能和功能上的持续突破: 1. 首次开源(2023年7月6日) InternLM-7B模型首次开源发布 同步发布全链条开源工具体系,包括XTuner微调工具、LMDeploy部署工具 阅读全文
posted @ 2025-02-17 20:47 sakuraLGGM 阅读(74) 评论(0) 推荐(0)