摘要：
详细说下RAG流程 用户输入问题处理 ● 目标：解析并理解用户查询的意图和关键信息。 ● 关键技术： ○ 查询解析：提取关键词、实体识别（如NER）、语义解析（理解深层意图）。 ○ 查询扩展：通过同义词替换、上下文联想（例如，用户问“Transformer结构”时，补充“注意力机制”相关术语）增强检 阅读全文
posted @ 2025-06-30 18:07
贺艳峰
阅读(235)
评论(0)
推荐(0)
摘要：
案例分享 度小满轩辕金融大模型 基础模型 LLAMA2-70B。 使用Post-Pretrain注入金融知识。 步骤 预训练阶段 获得知识 万级金融类书籍 十万级金融百科词条 百万级市公司公告 指令微调: 激活问答能力 根据金融百科启发式产生对应问答指令数据 改写金融试题数据,指令风格统一 强化学习 阅读全文
posted @ 2025-06-30 01:04
贺艳峰
阅读(101)
评论(0)
推荐(0)
摘要：
LoRA 原理 假设LLM在下游任务上微调得到的增量参数矩阵是低秩的 即使存在冗余参数的高维矩阵，但实际有效矩阵是更低纬度的。 冻结预训练好的模型权重参数，在冻结原模型参数的情况下，通过往模型中加入额外的网络层并只训练这些新增的网络层参数。 LoRA 计算流程 在原始预训练模型参数旁边增加一个旁路 阅读全文
posted @ 2025-06-30 00:22
贺艳峰
阅读(258)
评论(0)
推荐(0)
浙公网安备 33010602011771号