合集-大模型系列

GraphRAG原理及部署实战(GraphRAG系列第一篇)
摘要：RAG在大模型时代，被寄予了厚望，但在近一年多各大小公司的实施过程中，其效果远没有抖音中宣传的那么振奋人心，其原因是多方面的。这篇文章就RAG中的一个弱项--局部性来展开讨论。 一、RAG原理 图1描述了RAG的原理，用户输入了一个指令Instruct，RAG将其与Document store(向量 阅读全文
posted @ 2024-10-29 17:28 tgltt 阅读(8888) 评论(0) 推荐(0)
GraphRAG如何构建知识图谱Knowledge Graph (GraphRAG系列第二篇)
摘要：GraphRAG工作的第一步，是将输入的文档集合，按一定的策略拆分成一个一个chunks，然后解析每个chunks，将chunk中所关注的实体(entity)和关系(relation)解析出来，以此构建知识图谱。 那问题来了，GraphRAG是如何抽取文本中的实体及其间的关系，是像以前NLP任务那样 阅读全文
posted @ 2024-10-30 17:06 tgltt 阅读(2744) 评论(0) 推荐(1)
大模型导论
摘要：为什么大模型相比中小模型，有更突出的性能和泛化能力，也许大多数人并没有想过这个问题，业内一般从函数曲线拟合的角度，来理解模型为什么能解决现实中的问题。 1、模型为什么越大，性能和泛化越好？ 在AI领域，对需要解决的业务问题，将其视为满足一定条件的数据分布，先通过特征工程的方式，从业务问题中拆解出有哪 阅读全文
posted @ 2024-10-31 12:33 tgltt 阅读(654) 评论(0) 推荐(0)
Stable Diffusion技术路线发展历程回顾
摘要：图1描述了Stable Diffusion模型的发展历程，从最初的AE(Auto Encoder)，逐步发展到DDPM、VQVAE、LDM，并最终产生了Stable Diffusion。从技术路线上看，Stable Diffusion由2条技术路线汇聚而成，一条是路线1：AE -> VAE -> D 阅读全文
posted @ 2024-10-31 15:23 tgltt 阅读(1499) 评论(0) 推荐(0)
多模态相关技术探讨
摘要：Stable Diffusion为实现文生图，引入了Conditioning模块，该模块用于接收图文等多种模态的数据，并将其编码为Embedding空间的向量，使得Stable Diffusion在训练和推理时，可以受到多模态数据设置的条件约束。Stable Diffusion中的Condition 阅读全文
posted @ 2024-10-31 16:44 tgltt 阅读(451) 评论(0) 推荐(0)
Sora初探
摘要：Sora是OpenAI今年初推出的一款文生视频模型，相较于MidJourney这些传统AI绘图工具而言，Sora生成的视频时长更长，视频效果更逼真、更符合物理世界的客观规律。 Sora生成的视频可长达60s以上，较之前的文生视频模型只能生成2~3s视频而言，是个巨大的突破，从Sora官方公布的视频效 阅读全文
posted @ 2024-10-31 17:15 tgltt 阅读(271) 评论(0) 推荐(0)
BERT模型分析
摘要：在2018年Google提出Transformer框架后，2019年，BERT作为最早期的大模型，便应运而生，因为BERT有强大的自然语言理解能力，因此在其被提出后便风靡NLP领域。 研读BERT代码，是因为BERT作为大模型起源鼻祖，比GPT起源还早，弄明白其算法思想和其主体代码具体实现逻辑，有利 阅读全文
posted @ 2024-10-31 17:35 tgltt 阅读(288) 评论(0) 推荐(0)
ChatGLM3-6B模型分析
摘要：ChatGLM3是清华、智谱2023年开源的一款大模型。ChatGLM3-6B模型代码，目前还在研读中，尚未全部读完。 图1为ChatGLM3-6B模型简图，其结构基于Transformer Encoder架构的Encoder，大体上与BERT架构类似。ChatGLM3实现模型架构时，已预置支持P- 阅读全文
posted @ 2024-10-31 18:04 tgltt 阅读(637) 评论(0) 推荐(0)
LoRA原理
摘要：图1描述了LoRA微调的原理，即在原模型的基础上，建立一个旁支模型，旁支模型由A和B两个小矩阵构成，且A@B的维度等于原模型的维度。 图1 LoRA原理 图1的LoRA原理，也可写成式2的等式，权重W的新状态W’，为图10左路WFP16与右路A FP16@B FP16乘积之和，其中W、A、B的上标F 阅读全文
posted @ 2024-10-31 18:14 tgltt 阅读(663) 评论(0) 推荐(0)
QLoRA原理分析
摘要：QLoRA是LoRA的量化版本，在LoRA的基础上，对权重W进行量化，如图2所示，以进一步减少对GPU显存的需求。 1、算法论文及代码 论文 《QLORA: Efficient Finetuning of Quantized LLMs》 https://arxiv.org/pdf/2305.1431 阅读全文
posted @ 2024-10-31 18:33 tgltt 阅读(2504) 评论(0) 推荐(0)
大模型检测代码问题优化思路
摘要：以优化大模型检测多线程问题为例，可按四阶段走的策略进行。 第一阶段：代码段扫描 这个阶段的目标，是让大模型每次检查一个代码片段，输出该代码段的多线程问题，并保证足够的准确率。由于本阶段扫描的是代码段，缺少非常多的上下文信息，自然会有比较高的误报率，对此有2种优化方法： l 优化Prompt 利用提示 阅读全文
posted @ 2026-03-27 09:16 tgltt 阅读(51) 评论(0) 推荐(0)
大模型方案之初尝试--基于RAG检测工程代码问题
摘要：由于大模型自身固有的制约因素，大模型方案核心在于解决如何筛选工程中的多线程代码，然后让大模型扫描这些筛选出来的代码，分析其中的多线程问题。 初期尝试是采用RAG，尝试筛出工程中的多线程代码。 一、RAG概述 RAG是Retrieval Augmented Generation的英文缩写，中文名为检索 阅读全文
posted @ 2026-03-27 09:17 tgltt 阅读(29) 评论(0) 推荐(0)
大模型排查代码问题的制约因素
摘要：1、输入长度 理论上，大模型是可以从工程总体角度去分析多线程问题，但现实是现在的大模型，对输入长度是有限制的，尤其开源大模型，其最大长度一般<=128K个token，换算为字符数，大约是512K个字符，而商用的软件系统，随便一个工程，甚至其一个功能模块都可能远超512K个字符，因此，需要寻找一个能够 阅读全文
posted @ 2026-03-27 09:20 tgltt 阅读(16) 评论(0) 推荐(0)
Sweep AI概述
摘要：Sweep AI的目标是取代码初级程序员(Junior Developer)，可以根据需求或bug描述，自动从GitHub上拉取工程源码，将需求或bug描述自动转换为相应的代码改动，从而实现需求开发或bug修复，当然都是些简单的需求和bug，因这个工具的核心能力依赖ChatGPT-4，所以并没有试用 阅读全文
posted @ 2026-03-27 09:21 tgltt 阅读(74) 评论(0) 推荐(0)
大模型实践基础
摘要：一、如何获取大模型？ 基于大模型开发应用，首先要获取到大模型的权重文件文件，然后部署大模型，再基于大模型开发上层应用。 业内目前使用大模型有两类方式: 第一类方式，基于各大模型厂商提供的API，以免费或计费的方式调用大模型，这类方式最简单，但可能需要一定的费用。 第二类方式，在三方托管平台或其他途径 阅读全文
posted @ 2026-03-27 09:22 tgltt 阅读(91) 评论(0) 推荐(0)
深度学习概述
摘要：一、神经网络(Neural Network, NN) 深度学习的理论基础是神经网络，而神经网络的基本组成单元是神经元，这些概念都是借鉴于生物学中的神经网络的概念，神经元是人体神经系统的基本组成单元，神经系统包含脑、脊髓等，这些组织是人体的控制系统，控制着人的生理、心理活动，而AI仿生的是人脑，作为机 阅读全文
posted @ 2026-03-27 09:24 tgltt 阅读(35) 评论(0) 推荐(0)
Palantir本体论(Ontology)
摘要：1、本体论(Ontology)为何大行其道？ 将企业软件系统的设计理念，从传统的“以数据为中心”，转向了“以决策为中心”，因为企业或组织存续的本质，是在内外部环境瞬息万变的挑战下，持续执行最有效的决策。 构成决策的三大要素： 数据(Data) 做出决策所依据的信息。 逻辑(Logic) 评估和推理决 阅读全文
posted @ 2026-03-27 09:25 tgltt 阅读(1840) 评论(0) 推荐(0)
RAG知识库原理
摘要：一、如何与LLM交互？ 绝大多数的交互场景，用户向LLM提出一个Question，LLM返回一个Answer。 二、LLM的局限—无法更新自身知识 LLM一旦训练完成并发布后，其自身所拥有的知识，无法与时俱进。 三、如何弥补LLM无法更新自身知识的局限？ 原因 LLM自身知识无法与时俱进，是由于LL 阅读全文
posted @ 2026-03-27 14:31 tgltt 阅读(96) 评论(0) 推荐(0)
基于LLM的问数方案
摘要：方案有以下两种： - 以NL2SQL为核心 即LLM根据用户指令生成SQL，然后SQL查询数据库，再将查到的数据生成图表，此种方案需LLM生成问数所需数据的SQL，因此其扩展性比较差，尤其在多表查询时性能较差，经常陷于生成SQL错误纠正的旋涡; - 以NL2Semantic2SQL为核心， 即LLM 阅读全文
posted @ 2026-03-27 14:33 tgltt 阅读(37) 评论(0) 推荐(0)
Agent原理
摘要：本文阐述的Agent是浅层Agent，是一种通过ReAct方式进行推理的LLM执行方式，即LLM推理一次，然后观察推理结果，再决定下一步做什么，必要是会调用外部工具获取相应的数据，并补充到提示词里，是一种走一步、看一步的执行方式，有 别于工作流那种预规划工作流的深层agent。 1. Agent的实 阅读全文
posted @ 2026-03-27 15:03 tgltt 阅读(71) 评论(0) 推荐(0)
dify使用&RAG开发指南(保姆级攻略)
摘要：一、访问Dify 在浏览器中访问http://XXX.XXX.XXX.XXX/apps，然后使用账号信息登录图1。 图1 Dify登录界面 成功登录后，可看到图2Dify工作室界面。 图2 Dify工作室 二、构建RAG应用 2.1构建知识库 点击图2上方的知识库标签，可看到图3中的知识库标签页。 阅读全文
posted @ 2026-03-27 16:03 tgltt 阅读(202) 评论(0) 推荐(0)
NPU环境安装部署GOT及初步测试OCR2.0效果
摘要：一、 GOT安装环境 1、环境搭建 GOT安装需要依赖Python 3.10，且相关依赖包版本如下： torch==2.0.1 torchvision==0.15.2 transformers==4.37.2 tiktoken==0.6.0 verovio==4.3.1 accelerate==0. 阅读全文
posted @ 2026-03-30 16:56 tgltt 阅读(32) 评论(0) 推荐(0)
Kronos将K线token化的方法
摘要：1、概述 清华大学推出的开源K线模型Kronos，是第一款金融领域的K线基础大模型。其提出将K线token化的方法，值得借鉴和研究。 2、总体流程 图1 描述了Kronos将K线token化的流程，包含两个阶段：第一个阶段，将K线抽象为open、close、high、low四个特征，然后经由Enco 阅读全文
posted @ 2026-06-02 16:23 tgltt 阅读(22) 评论(0) 推荐(0)