tgltt - 博客园

2026年3月27日

摘要：由于大模型自身固有的制约因素，大模型方案核心在于解决如何筛选工程中的多线程代码，然后让大模型扫描这些筛选出来的代码，分析其中的多线程问题。初期尝试是采用RAG，尝试筛出工程中的多线程代码。一、RAG概述 RAG是Retrieval Augmented Generation的英文缩写，中文名为检索阅读全文

posted @ 2026-03-27 09:17 tgltt 阅读(8) 评论(0) 推荐(0)

大模型检测代码问题优化思路

摘要：以优化大模型检测多线程问题为例，可按四阶段走的策略进行。第一阶段：代码段扫描这个阶段的目标，是让大模型每次检查一个代码片段，输出该代码段的多线程问题，并保证足够的准确率。由于本阶段扫描的是代码段，缺少非常多的上下文信息，自然会有比较高的误报率，对此有2种优化方法： l 优化Prompt 利用提示阅读全文

posted @ 2026-03-27 09:16 tgltt 阅读(2) 评论(0) 推荐(0)

2024年10月31日

QLoRA原理分析

摘要： QLoRA是LoRA的量化版本，在LoRA的基础上，对权重W进行量化，如图2所示，以进一步减少对GPU显存的需求。 1、算法论文及代码论文《QLORA: Efficient Finetuning of Quantized LLMs》 https://arxiv.org/pdf/2305.1431 阅读全文

posted @ 2024-10-31 18:33 tgltt 阅读(2118) 评论(0) 推荐(0)

LoRA原理

摘要：图1描述了LoRA微调的原理，即在原模型的基础上，建立一个旁支模型，旁支模型由A和B两个小矩阵构成，且A@B的维度等于原模型的维度。图1 LoRA原理图1的LoRA原理，也可写成式2的等式，权重W的新状态W’，为图10左路WFP16与右路A FP16@B FP16乘积之和，其中W、A、B的上标F 阅读全文

posted @ 2024-10-31 18:14 tgltt 阅读(603) 评论(0) 推荐(0)

ChatGLM3-6B模型分析

摘要： ChatGLM3是清华、智谱2023年开源的一款大模型。ChatGLM3-6B模型代码，目前还在研读中，尚未全部读完。图1为ChatGLM3-6B模型简图，其结构基于Transformer Encoder架构的Encoder，大体上与BERT架构类似。ChatGLM3实现模型架构时，已预置支持P- 阅读全文

posted @ 2024-10-31 18:04 tgltt 阅读(579) 评论(0) 推荐(0)

BERT模型分析

摘要：在2018年Google提出Transformer框架后，2019年，BERT作为最早期的大模型，便应运而生，因为BERT有强大的自然语言理解能力，因此在其被提出后便风靡NLP领域。研读BERT代码，是因为BERT作为大模型起源鼻祖，比GPT起源还早，弄明白其算法思想和其主体代码具体实现逻辑，有利阅读全文

posted @ 2024-10-31 17:35 tgltt 阅读(258) 评论(0) 推荐(0)

Sora初探

摘要： Sora是OpenAI今年初推出的一款文生视频模型，相较于MidJourney这些传统AI绘图工具而言，Sora生成的视频时长更长，视频效果更逼真、更符合物理世界的客观规律。 Sora生成的视频可长达60s以上，较之前的文生视频模型只能生成2~3s视频而言，是个巨大的突破，从Sora官方公布的视频效阅读全文

posted @ 2024-10-31 17:15 tgltt 阅读(249) 评论(0) 推荐(0)

多模态相关技术探讨

摘要： Stable Diffusion为实现文生图，引入了Conditioning模块，该模块用于接收图文等多种模态的数据，并将其编码为Embedding空间的向量，使得Stable Diffusion在训练和推理时，可以受到多模态数据设置的条件约束。Stable Diffusion中的Condition 阅读全文

posted @ 2024-10-31 16:44 tgltt 阅读(415) 评论(0) 推荐(0)

Stable Diffusion技术路线发展历程回顾

摘要：图1描述了Stable Diffusion模型的发展历程，从最初的AE(Auto Encoder)，逐步发展到DDPM、VQVAE、LDM，并最终产生了Stable Diffusion。从技术路线上看，Stable Diffusion由2条技术路线汇聚而成，一条是路线1：AE -> VAE -> D 阅读全文

posted @ 2024-10-31 15:23 tgltt 阅读(1407) 评论(0) 推荐(0)

大模型导论

摘要：为什么大模型相比中小模型，有更突出的性能和泛化能力，也许大多数人并没有想过这个问题，业内一般从函数曲线拟合的角度，来理解模型为什么能解决现实中的问题。 1、模型为什么越大，性能和泛化越好？在AI领域，对需要解决的业务问题，将其视为满足一定条件的数据分布，先通过特征工程的方式，从业务问题中拆解出有哪阅读全文

posted @ 2024-10-31 12:33 tgltt 阅读(623) 评论(0) 推荐(0)

公告