风雨中的小七

2023年9月1日

解密Prompt系列14. LLM Agent之搜索应用设计：WebGPT & WebGLM & WebCPM

摘要：

本章介绍如何和搜索引擎进行交互的LLM Agent设计，主要包含以下几个模块：搜索改写，事实抽取，聚合推理，行为交互。我们会以WebCPM为基础，同时介绍WebGPT，WebGLM的异同阅读全文

posted @ 2023-09-01 20:30 风雨中的小七阅读(1347) 评论(0) 推荐(0)

2023年8月17日

解密Prompt系列13. LLM Agent-指令微调方案: Toolformer & Gorilla

摘要：

本章介绍基于模型微调，支持任意多工具组合调用，复杂工具调用的方案。工具调用的核心是3个问题：在哪个位置使用工具，使用什么工具，如何生成调用语句 - Gorilla & Toolformer 阅读全文

posted @ 2023-08-17 09:20 风雨中的小七阅读(1935) 评论(7) 推荐(2)

2023年7月28日

解密Prompt系列12. LLM Agent零微调范式 ReAct & Self Ask

摘要：

这一章我们正式进入大模型应用，聊聊如何把思维链和工具使用结合得到人工智能代理。先介绍基于Prompt的零微调方案Self Ask和React，我们会结合langchain写个简单的Agent来玩一玩阅读全文

posted @ 2023-07-28 20:06 风雨中的小七阅读(3346) 评论(2) 推荐(0)

2023年7月15日

解密Prompt系列11. 小模型也能COT-先天不足后天来补

摘要：

现实场景中考虑成本和推理延时，大家还是希望能用6B的模型就不用100B的大模型。但在前两章反复提到小模型不具备思维链推理能力，那这个能力有可能通过后天训练来获得么？如何让小模型具备COT能力呢？阅读全文

posted @ 2023-07-15 08:33 风雨中的小七阅读(1405) 评论(0) 推荐(0)

2023年7月1日

解密Prompt系列10. 思维链COT原理探究

摘要：

这一章我们追本溯源，讨论下COT的哪些元素是提升模型表现的核心。结合两篇论文的实验结论，可能导致思维链比常规推理拥有更高准确率的因素有:思维链的推理过程会重复问题中的核心实体；正确逻辑推理顺序的引入阅读全文

posted @ 2023-07-01 10:38 风雨中的小七阅读(1684) 评论(0) 推荐(0)

2023年6月16日

解密Prompt系列9. 模型复杂推理-思维链COT基础和进阶玩法

摘要：

这一篇真的是解密prompt！我们会讨论下思维链(chain-of-Thought)提示词究竟要如何写，如何写的更高级，介绍包括few-shot，zero-shot，循序渐进式和一致性COT的写法阅读全文

posted @ 2023-06-16 07:37 风雨中的小七阅读(5659) 评论(3) 推荐(1)

2023年6月13日

解密Prompt系列8. 无需训练让LLM支持超长输入:知识库 & unlimiformer & PCW & NBCE

摘要：

这一章我们聊聊有哪些方案可以不用微调直接让大模型支持超长文本输入，分别介绍显式搜索，unlimiformer隐式搜索，并行输入的PCW，和并行解码的NBCE方案阅读全文

posted @ 2023-06-13 07:39 风雨中的小七阅读(4050) 评论(0) 推荐(1)

2023年5月23日

解密Prompt7. 偏好对齐RLHF-OpenAI·DeepMind·Anthropic对比分析

摘要：

RLHF是针对有用，无害，事实性等原则，把模型输出和人类偏好进行对齐的一种方案。以OpenAI为基础，本章会对比DeepMind, Anthropic在RLHF步骤中的异同，试图理解RLHF究竟做了啥阅读全文

posted @ 2023-05-23 07:35 风雨中的小七阅读(1379) 评论(0) 推荐(2)

2023年4月29日

解密Prompt系列6. lora指令微调扣细节-请冷静,1个小时真不够~

摘要：

上一章介绍了如何基于APE+SELF自动化构建指令微调样本。这一章咱就把微调跑起来，主要介绍以Lora为首的低参数微调原理，环境配置，微调代码，以及大模型训练中显存和耗时优化的相关技术细节阅读全文

posted @ 2023-04-29 14:42 风雨中的小七阅读(4781) 评论(0) 推荐(2)

2023年4月10日

解密prompt系列5. APE+SELF=自动化指令集构建代码实现

摘要：

把AutomaticPromptEngineer指令逆向工程，SELFInstruct指令扩充组个CP，完全依LLM来构建指令微调样本集！在医疗领域经初步尝试了下，附代码和可视化应用阅读全文

posted @ 2023-04-10 11:00 风雨中的小七阅读(1991) 评论(0) 推荐(1)