摘要：
目录一、模型结构选择二、数据预处理三、模型预训练四、模型评估五、使模型和人类对齐六、LLM融合多模态6.0 多模态LLM架构6.1 一阶段预训练6.2 二阶段微调6.2.1 构造图像-指令遵循数据集6.2.2 训练方式6.2.3 质量评估6.3 链接外部工具6.3.1 构造<指令, API>数据6. 阅读全文
posted @ 2024-07-18 23:04
幻影星全能的木豆
阅读(2244)
评论(0)
推荐(1)
摘要：
学习链接 https://blog.csdn.net/v_JULY_v/article/details/135375799 目录从LongLoRA到LongQLoRA(含源码剖析)：超长上下文大模型的高效微调方法第一部分 LongLora：超长上下文大模型的高效微调方法1.1 从PI、LoRA到Lo 阅读全文
posted @ 2024-07-18 14:19
幻影星全能的木豆
阅读(521)
评论(0)
推荐(0)
摘要：
目录第一部分 背景知识：从进制表示谈到直接外推、线性内插、进制转换1.1 从进制表示到直接外推1.1.1 进制表示1.1.2 直接外推1.2 从线性内插到进制转换1.2.1 线性内插1.2.2 进制转换第二部分 从RoPE、直接外推到位置内插Position Interpolation2.1 旋转位 阅读全文
posted @ 2024-07-18 11:40
幻影星全能的木豆
阅读(3803)
评论(0)
推荐(3)
浙公网安备 33010602011771号