上一页 1 2 3 4 5 6 ··· 10 下一页
摘要: 解密Prompt系列16. LLM对齐经验之数据越少越好?LTD & LIMA & AlpaGasus 总结下指令微调、对齐样本筛选相关的方案包括LIMA,LTD等。论文都是以优化指令样本为核心,提出对齐阶段的数据质量优于数量,少量+多样+高质量的对齐数据,就能让你快速拥有效果杠杠的模型 阅读全文
posted @ 2023-10-05 08:56 风雨中的小七 阅读(438) 评论(0) 推荐(2) 编辑
摘要: 解密Prompt系列15. LLM Agent之数据库应用设计:DIN & C3 & SQL-Palm & BIRD 这一章我们来唠唠大模型和DB数据库之间的交互方案,除了基于Spider数据集的SOTA方案DIN之外,还会介绍两个改良方案C3和SQL-Palm,以及更贴合实际应用的大规模复杂SQL数据集BIRD。 阅读全文
posted @ 2023-09-16 09:01 风雨中的小七 阅读(716) 评论(0) 推荐(2) 编辑
摘要: 解密Prompt系列14. LLM Agent之搜索应用设计:WebGPT & WebGLM & WebCPM 本章介绍如何和搜索引擎进行交互的LLM Agent设计,主要包含以下几个模块:搜索改写,事实抽取,聚合推理,行为交互。我们会以WebCPM为基础,同时介绍WebGPT,WebGLM的异同 阅读全文
posted @ 2023-09-01 20:30 风雨中的小七 阅读(620) 评论(0) 推荐(0) 编辑
摘要: 解密Prompt系列13. LLM Agent-指令微调方案: Toolformer & Gorilla 本章介绍基于模型微调,支持任意多工具组合调用,复杂工具调用的方案。工具调用的核心是3个问题:在哪个位置使用工具,使用什么工具,如何生成调用语句 - Gorilla & Toolformer 阅读全文
posted @ 2023-08-17 09:20 风雨中的小七 阅读(944) 评论(7) 推荐(2) 编辑
摘要: 解密Prompt系列12. LLM Agent零微调范式 ReAct & Self Ask 这一章我们正式进入大模型应用,聊聊如何把思维链和工具使用结合得到人工智能代理。先介绍基于Prompt的零微调方案Self Ask和React,我们会结合langchain写个简单的Agent来玩一玩 阅读全文
posted @ 2023-07-28 20:06 风雨中的小七 阅读(1506) 评论(2) 推荐(0) 编辑
摘要: 解密Prompt系列11. 小模型也能COT-先天不足后天来补 现实场景中考虑成本和推理延时,大家还是希望能用6B的模型就不用100B的大模型。但在前两章反复提到小模型不具备思维链推理能力,那这个能力有可能通过后天训练来获得么?如何让小模型具备COT能力呢? 阅读全文
posted @ 2023-07-15 08:33 风雨中的小七 阅读(571) 评论(0) 推荐(0) 编辑
摘要: 解密Prompt系列10. 思维链COT原理探究 这一章我们追本溯源,讨论下COT的哪些元素是提升模型表现的核心。结合两篇论文的实验结论,可能导致思维链比常规推理拥有更高准确率的因素有:思维链的推理过程会重复问题中的核心实体;正确逻辑推理顺序的引入 阅读全文
posted @ 2023-07-01 10:38 风雨中的小七 阅读(836) 评论(0) 推荐(0) 编辑
摘要: 解密Prompt系列9. 模型复杂推理-思维链COT基础和进阶玩法 这一篇真的是解密prompt!我们会讨论下思维链(chain-of-Thought)提示词究竟要如何写,如何写的更高级,介绍包括few-shot,zero-shot,循序渐进式和一致性COT的写法 阅读全文
posted @ 2023-06-16 07:37 风雨中的小七 阅读(1653) 评论(3) 推荐(0) 编辑
摘要: 解密Prompt系列8. 无需训练让LLM支持超长输入:知识库 & unlimiformer & PCW & NBCE 这一章我们聊聊有哪些方案可以不用微调直接让大模型支持超长文本输入,分别介绍显式搜索,unlimiformer隐式搜索,并行输入的PCW,和并行解码的NBCE方案 阅读全文
posted @ 2023-06-13 07:39 风雨中的小七 阅读(1640) 评论(0) 推荐(0) 编辑
摘要: 解密Prompt7. 偏好对齐RLHF-OpenAI·DeepMind·Anthropic对比分析 RLHF是针对有用,无害,事实性等原则,把模型输出和人类偏好进行对齐的一种方案。以OpenAI为基础,本章会对比DeepMind, Anthropic在RLHF步骤中的异同,试图理解RLHF究竟做了啥 阅读全文
posted @ 2023-05-23 07:35 风雨中的小七 阅读(680) 评论(0) 推荐(2) 编辑
上一页 1 2 3 4 5 6 ··· 10 下一页