摘要：
LoRA LORA是一种低资源微调大模型方法，出自论文LoRA: Low-Rank Adaptation of Large Language Models。 使用LORA，训练参数仅为整体参数的万分之一、GPU显存使用量减少2/3且不会引入额外的推理耗时。 自然语言处理的一个重要范式包括对一般领域数 阅读全文
posted @ 2024-05-31 14:44
H1S96
阅读(167)
评论(0)
推荐(0)
摘要：
指令微调 指令微调（Instruction Tuning）是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调。 微调适用的场景 通常来说，适合微调的场景主要分为行业场景和通用场景 对于行业场景： 例如客服助手，智能写作辅导等需要专门的回答范式和预期的场景 例如智慧医生，智慧律师等需要更专业 阅读全文
posted @ 2024-05-31 14:43
H1S96
阅读(280)
评论(0)
推荐(0)
摘要：
{ "predict_bleu-4": 96.00244754098361, "predict_rouge-1": 97.58144262295083, "predict_rouge-2": 96.16612295081967, "predict_rouge-l": 96.6987229508196 阅读全文
posted @ 2024-05-31 14:42
H1S96
阅读(224)
评论(0)
推荐(0)
摘要：
本次创新项目实训自三月开始，在今天中期检查之后对项目工作进行了回顾，下文对这段工作作简要总结。 项目选题其实我是比较犹豫，因为LLM此前的了解只有ChatGPT这种基本成熟的模型，而且也只是简单调用，对源码，接口的使用基本是未知，以我对其他成员的了解，基本也大差不差。因此项目前景堪忧。 当我开始研究 阅读全文
posted @ 2024-05-31 14:37
H1S96
阅读(158)
评论(0)
推荐(0)
摘要：
1 什么是Embedding 在大模型中，"embedding"指的是将某种类型的输入数据（如文本、图像、声音等）转换成一个稠密的数值向量的过程。 这些向量通常包含较多维度，每一个维度代表输入数据的某种抽象特征或属性。 Embedding 的目的是将实际的输入转化为一种格式，使得计算机能够更有效地处 阅读全文
posted @ 2024-05-31 09:01
H1S96
阅读(183)
评论(0)
推荐(0)
摘要：
今天主要讲langchain向量知识库解析文档的相关内容。 文档解析逻辑 UnstructuredFileLoader word读取 按照mode="single"来整个文档加载，如下有1个page_content： from langchain.document_loaders import Un 阅读全文
posted @ 2024-05-31 09:00
H1S96
阅读(207)
评论(0)
推荐(0)
摘要：
文档问答过程大概分为以下5部分，在Langchain中都有体现。 上传解析文档 文档向量化、存储 文档召回 query向量化 文档问答 这次主要讲langchain在文档embedding以及构建faiss过程时是怎么实现的。 源码入口 langchain中对于文档embedding以及构建fais 阅读全文
posted @ 2024-05-31 09:00
H1S96
阅读(142)
评论(0)
推荐(0)
摘要：
RAG 检索增强生成（Retrieval Augmented Generation），简称 RAG。它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。简而言之，RAG 结合了搜索技术和大语言模型的提示词功能，即向模型提出问题，并以搜索算法找到的信 阅读全文
posted @ 2024-05-31 08:34
H1S96
阅读(407)
评论(0)
推荐(0)
摘要：
参数说明 def main( prompt_text: str, system_prompt: str, top_p: float = 0.8, temperature: float = 0.95, repetition_penalty: float = 1.0, max_new_tokens: i 阅读全文
posted @ 2024-05-31 08:33
H1S96
阅读(88)
评论(0)
推荐(0)
摘要：
Streamlit手册 快速开始 Streamlit支持的Python版本很多，所以只要有Python环境就行。 pip install streamlit Hello world ''' *** filename hello_streamlit.py ''' import streamlit as 阅读全文
posted @ 2024-05-31 08:31
H1S96
阅读(219)
评论(0)
推荐(0)
摘要：
模型展示工具Gradio 安装与配置 环境要求：Gradio 需要Python 3.8 或更高版本的Python版本 操作系统：Gradio可以在Windows、MacOS和Linux等主流操作系统上运行。 安装步骤：使用pip安装，即打开你的终端或命令提示符，输入pip install gradi 阅读全文
posted @ 2024-05-31 08:30
H1S96
阅读(296)
评论(0)
推荐(0)
摘要：
简介 streamlit 是一个用于构建数据应用的开源 Python 库。它提供了一个简单的 API，可以让你在几行代码中构建数据应用。streamlit 会自动处理数据的加载、交互和可视化，让你可以专注于数据分析和应用的构建。 无需写html, css,js等前端代码。Streamlit的设计哲学 阅读全文
posted @ 2024-05-31 08:27
H1S96
阅读(214)
评论(0)
推荐(1)
摘要：
法律场景下的大语言模型 在法律领域，相关从业人员需要参与合同咨询、审查、案件判决等日常重复性任务。这些任务需要耗费大量的人力成本，亟需面向法律领域的人工智能技术辅助完成这些工作，从而减轻从业人员的工作负担[437]。大语言模型具有优秀的模型能力，经过领域适配以后，能够助力完成多种法律任务，如合同信息 阅读全文
posted @ 2024-05-31 00:35
H1S96
阅读(404)
评论(0)
推荐(0)
摘要：
ChatGLM3 对话格式 为了避免用户输入的注入攻击，以及统一 Code Interpreter，Tool & Agent 等任务的输入，ChatGLM3 采用了全新的对话格式。 整体结构 ChatGLM3 对话的格式由若干对话组成，其中每个对话包含对话头和内容，一个典型的多轮对话结构如下 <|s 阅读全文
posted @ 2024-05-31 00:35
H1S96
阅读(114)
评论(0)
推荐(0)
摘要：
一、迭代优化 在开发大语言模型应用时，很难通过第一次尝试就得到完美适用的 Prompt。关键是要有一个良好的迭代优化过程，不断改进 Prompt。 # 示例：产品说明书 fact_sheet_chair = """ 概述 美丽的中世纪风格办公家具系列的一部分，包括文件柜、办公桌、书柜、会议桌等。 多 阅读全文
posted @ 2024-05-31 00:34
H1S96
阅读(111)
评论(0)
推荐(0)
摘要：
但不是每个问题都可以得到令人满意的答案，如果想得到你所要的回答就要构建好你的提示词 Prompt。本文将探讨 Prompt 提示词在开发中的应用和优势，以及如何利用它来解决常见问题和加速开发过程。无论是初学者还是经验丰富的开发人员，Prompt 提示词都能为我们带来更高效的开发体验。 提示工程 提示 阅读全文
posted @ 2024-05-31 00:31
H1S96
阅读(327)
评论(0)
推荐(0)
摘要：
开源框架和模型 微调的模型： ChatGLM3-6B 微调框架： LLaMA Factory 在人工智能领域，大型语言模型（LLMs）如ChatGLM-3已经取得了显著的进步，为自然语言处理（NLP）任务提供了强大的支持。然而，如何让这些模型更好地适应特定任务，提高其性能并增强自我认知功能，一直是研 阅读全文
posted @ 2024-05-31 00:29
H1S96
阅读(187)
评论(0)
推荐(0)
浙公网安备 33010602011771号