摘要： 
这一章我们针对真实世界中工具调用的多个问题，介绍微调(ToolLLM)和prompt(AnyTool)两种方案 阅读全文
这一章我们针对真实世界中工具调用的多个问题，介绍微调(ToolLLM)和prompt(AnyTool)两种方案 阅读全文
posted @ 2024-05-23 08:10
风雨中的小七
阅读(1009)
评论(0)
推荐(1)
摘要： 
本章介绍金融领域大模型智能体，并梳理金融LLM相关资源。大模型智能体当前集中在个股交易决策场景，而使用大模型智能体最显著的优势在于对海量信息的高效处理，存储和信息联想。FinMEM和FinAgent 阅读全文
本章介绍金融领域大模型智能体，并梳理金融LLM相关资源。大模型智能体当前集中在个股交易决策场景，而使用大模型智能体最显著的优势在于对海量信息的高效处理，存储和信息联想。FinMEM和FinAgent 阅读全文
posted @ 2024-05-06 07:40
风雨中的小七
阅读(2664)
评论(0)
推荐(1)
摘要： 
这一章我们重点讨论下如何注入某一类任务或能力的同时，尽可能不损失模型原有的通用指令理解能力。这里我们讨论两种方案，来尽可能降低通用能力的损失，一种数据方案，一种训练方案。 阅读全文
这一章我们重点讨论下如何注入某一类任务或能力的同时，尽可能不损失模型原有的通用指令理解能力。这里我们讨论两种方案，来尽可能降低通用能力的损失，一种数据方案，一种训练方案。 阅读全文
posted @ 2024-04-13 12:17
风雨中的小七
阅读(840)
评论(0)
推荐(0)
摘要： 
之前我们主要唠了RLHF训练相关的方案，这一章我们主要针对RLHF的样本构建阶段，引入机器标注来降低人工标注的成本。主要介绍两个方案：RLAIF,和IBM的SALMON 阅读全文
之前我们主要唠了RLHF训练相关的方案，这一章我们主要针对RLHF的样本构建阶段，引入机器标注来降低人工标注的成本。主要介绍两个方案：RLAIF,和IBM的SALMON 阅读全文
posted @ 2024-03-25 08:37
风雨中的小七
阅读(492)
评论(0)
推荐(0)
摘要： 
在Chain of Thought出来后，出现过许多的优化方案，这一章我们类比人类已有的思维方式，就抽象思维和发散思维这两个方向，聊聊step back和diversity prompt 阅读全文
在Chain of Thought出来后，出现过许多的优化方案，这一章我们类比人类已有的思维方式，就抽象思维和发散思维这两个方向，聊聊step back和diversity prompt 阅读全文
posted @ 2024-03-10 14:37
风雨中的小七
阅读(698)
评论(0)
推荐(0)
摘要： 
这几章我们会针对经典RLHF算法存在的不稳定，成本高，效率低等问题聊聊新方案。第一章我们先说RLHF训练策略相关的方案，包括SLiC-HF，DPO，RRHF和RSO，他们之间有很多相似之处~ 阅读全文
这几章我们会针对经典RLHF算法存在的不稳定，成本高，效率低等问题聊聊新方案。第一章我们先说RLHF训练策略相关的方案，包括SLiC-HF，DPO，RRHF和RSO，他们之间有很多相似之处~ 阅读全文
posted @ 2024-02-22 07:54
风雨中的小七
阅读(1387)
评论(0)
推荐(0)
摘要： 
这一章我们单独针对大模型的幻觉问题，从幻觉类型，幻觉来源，幻觉检测，幻觉缓解这四个方向进行整理。这里就不细说任意一种方法了，直接用脑图概览地看下整个大模型幻觉领域 阅读全文
这一章我们单独针对大模型的幻觉问题，从幻觉类型，幻觉来源，幻觉检测，幻觉缓解这四个方向进行整理。这里就不细说任意一种方法了，直接用脑图概览地看下整个大模型幻觉领域 阅读全文
posted @ 2024-01-15 17:45
风雨中的小七
阅读(2042)
评论(0)
推荐(0)
摘要： 
当前RAG多数只让模型基于检索内容回答，其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能，需要最大化使用模型内化到参数中的信息，只在必要时调用外部知识，这里介绍前置和后置处理的几种方案~ 阅读全文
当前RAG多数只让模型基于检索内容回答，其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能，需要最大化使用模型内化到参数中的信息，只在必要时调用外部知识，这里介绍前置和后置处理的几种方案~ 阅读全文
posted @ 2024-01-01 19:15
风雨中的小七
阅读(1000)
评论(0)
推荐(0)
摘要： 
话接上文的召回多样性优化，这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架，这一章对应排序+重排环节。我们先对比下经典框架和RAG的异同，再分别介绍几种适用大模型的排序和重排方案~ 阅读全文
话接上文的召回多样性优化，这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架，这一章对应排序+重排环节。我们先对比下经典框架和RAG的异同，再分别介绍几种适用大模型的排序和重排方案~ 阅读全文
posted @ 2023-12-18 08:05
风雨中的小七
阅读(2052)
评论(0)
推荐(0)
摘要： 
看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架，结合新老论文，和langchain新功能聊聊RAG框架中召回多样性的优化方案，包括如何提高query多样性和索引多样性 阅读全文
看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架，结合新老论文，和langchain新功能聊聊RAG框架中召回多样性的优化方案，包括如何提高query多样性和索引多样性 阅读全文
posted @ 2023-12-03 21:26
风雨中的小七
阅读(3195)
评论(0)
推荐(0)
浙公网安备 33010602011771号