摘要:
这一章我们重点讨论下如何注入某一类任务或能力的同时,尽可能不损失模型原有的通用指令理解能力。这里我们讨论两种方案,来尽可能降低通用能力的损失,一种数据方案,一种训练方案。 阅读全文
摘要:
之前我们主要唠了RLHF训练相关的方案,这一章我们主要针对RLHF的样本构建阶段,引入机器标注来降低人工标注的成本。主要介绍两个方案:RLAIF,和IBM的SALMON 阅读全文
摘要:
在Chain of Thought出来后,出现过许多的优化方案,这一章我们类比人类已有的思维方式,就抽象思维和发散思维这两个方向,聊聊step back和diversity prompt 阅读全文
摘要:
这几章我们会针对经典RLHF算法存在的不稳定,成本高,效率低等问题聊聊新方案。第一章我们先说RLHF训练策略相关的方案,包括SLiC-HF,DPO,RRHF和RSO,他们之间有很多相似之处~ 阅读全文
摘要:
这一章我们单独针对大模型的幻觉问题,从幻觉类型,幻觉来源,幻觉检测,幻觉缓解这四个方向进行整理。这里就不细说任意一种方法了,直接用脑图概览地看下整个大模型幻觉领域 阅读全文
摘要:
当前RAG多数只让模型基于检索内容回答,其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能,需要最大化使用模型内化到参数中的信息,只在必要时调用外部知识,这里介绍前置和后置处理的几种方案~ 阅读全文
摘要:
话接上文的召回多样性优化,这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架,这一章对应排序+重排环节。我们先对比下经典框架和RAG的异同,再分别介绍几种适用大模型的排序和重排方案~ 阅读全文
摘要:
看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架,结合新老论文,和langchain新功能聊聊RAG框架中召回多样性的优化方案,包括如何提高query多样性和索引多样性 阅读全文
摘要:
这一章我们聊聊大模型在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗,数据处理,建模,数据洞察和可视化的步骤。这里我们聊两篇论文:Data-Copilot 和 InsightPilot 阅读全文
摘要:
前四章不论是和数据库和模型还是和搜索引擎交互,更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界!分别基于源码介绍斯坦福小镇和Chatdev两篇论文 阅读全文