随笔分类 -  AI

AI骚操作
FlashAttention从V1到V3简明攻略
摘要：1. 引言：Transformer中的Attention计算与GPU内存瓶颈 Transformer模型在自然语言处理、计算机视觉等领域取得了巨大的成功。其核心机制之一就是自注意力（Self-Attention）。简单来说，Attention机制允许模型在处理序列数据时，为不同的位置赋予不同的权重， 阅读全文
posted @ 2025-03-30 11:16 MKY-门可意 阅读(1975) 评论(0) 推荐(0)
cuda编程入门
摘要：CUDA 入门编程示例: 本文将通过几个简单的 CUDA 编程示例，带你初步了解 CUDA 的基本概念和编程流程。这些示例都附带了详细的解释，希望能帮助你快速入门 CUDA 开发。 1. 第一个 CUDA 核函数：Hello GPU! 让我们从一个最简单的 CUDA 程序开始，这个程序将在 GPU 阅读全文
posted @ 2025-03-29 19:50 MKY-门可意 阅读(936) 评论(0) 推荐(0)
NVIDIA Nsight Systems (nsys) 工具使用
摘要：工具详解: 在追求卓越性能的软件开发过程中，理解应用程序在整个系统中的行为至关重要。NVIDIA Nsight Systems (nsys) 正是一款为此而生的强大工具。它能够帮助开发者深入了解应用程序在 CPU、GPU 和网络通信等各个层面的运行情况，从而有效地识别性能瓶颈并进行优化。本文将带你认 阅读全文
posted @ 2025-03-25 16:21 MKY-门可意 阅读(4404) 评论(0) 推荐(0)
PD分离与EP分离技术
摘要：一、Prefill与Decode的底层原理剖析 1.1 Prefill阶段的数学本质 （以Transformer架构为例） 计算密集型的核心原因： # 自注意力计算伪代码 Q = X @ W_Q # [batch, seq_len, d_model] → [batch, seq_len, d_k] 阅读全文
posted @ 2025-03-18 13:17 MKY-门可意 阅读(4238) 评论(0) 推荐(0)
浅析LLM推理过程
摘要：1. LLM 推理阶段概述： Prefill 阶段（预填充）： 此阶段是 LLM 推理的初始阶段，负责处理输入的提示（prompt）。 其主要任务是将输入的文本转换为模型可以理解的内部表示，即 Key/Value (KV) 缓存。 Prefill 阶段的计算量通常较大，尤其是在处理长提示时。 Dec 阅读全文
posted @ 2025-03-12 16:32 MKY-门可意 阅读(3137) 评论(0) 推荐(0)
SIFT+RANSAC特征提取解析
摘要：1. 传统检测方法的困境 1.1 滑动窗口 + HOG：机械化搜索的局限性 想象你在一间堆满杂物的仓库中寻找一把特定的钥匙。滑动窗口方法就像用固定大小的盒子（例如100×100像素）逐行逐列扫描整个仓库，每次检查盒子内的物品是否与钥匙匹配。其核心步骤如下： 特征提取：对每个窗口内的图像计算HOG特征 阅读全文
posted @ 2025-01-23 20:15 MKY-门可意 阅读(190) 评论(0) 推荐(0)
Transformers 模型量化技术：GPTQ
摘要：GPTQ简介 2022年，Frantar等人发表了论文 GPTQ：Accurate Post-Training Quantization for Generative Pre-trained Transformers。 这篇论文详细介绍了一种训练后量化算法，适用于所有通用的预训练 Transform 阅读全文
posted @ 2025-01-11 07:09 MKY-门可意 阅读(500) 评论(0) 推荐(0)
探索 Hugging Face Transformers 库
摘要：自然语言处理（NLP）领域近年来取得了巨大的进展，而 Hugging Face Transformers 库 无疑是推动这一进展的重要力量。它为研究人员和开发者提供了丰富的预训练模型、简洁易用的接口以及高效的工具，极大地简化了 NLP 任务的开发流程。本文将带您深入探索 Transformers 库 阅读全文
posted @ 2025-01-09 10:32 MKY-门可意 阅读(293) 评论(0) 推荐(0)
HF微调(二)
摘要：HF微调语言模型-问答任务¶ 注意：微调后的模型仍然是通过提取上下文的子串来回答问题的，而不是生成新的文本。 In [1]: # 根据你使用的模型和GPU资源情况，调整以下关键参数 squad_v2 = False model_checkpoint = "/models/distilbert-bas 阅读全文
posted @ 2024-12-30 19:38 MKY-门可意 阅读(108) 评论(0) 推荐(0)
HF微调(一)
摘要：HF微调训练¶ Transformers实现模型微调训练的主要流程： 数据集下载 数据预处理 训练超参数配置 训练评估指标设置 训练器基本介绍 实战训练 模型保存 YelpReviewFull 数据集¶ 数据集下载： YelpReviewFull 数据集摘要¶ Yelp评论数据集包括来自Yelp的评 阅读全文
posted @ 2024-12-27 06:50 MKY-门可意 阅读(106) 评论(0) 推荐(0)
Pipelines 进阶
摘要：Pipelines 进阶¶ 以下任务： 使用 Pipeline 如何与现代的大语言模型结合，以完成各类下游任务 使用 Tokenizer 编解码文本 使用 Models 加载和保存模型 使用 Pipeline 调用大语言模型¶ LLM¶ 两种典型的语言模型： 自回归：模型目标是预测序列中的下一个 T 阅读全文
posted @ 2024-12-16 20:40 MKY-门可意 阅读(216) 评论(0) 推荐(0)
Keras 迁移学习
摘要：keras_cat_do_con In [1]: #由于Keras已经与TensorFlow合并,tensorflow下面导入keras import tensorflow as tf from tensorflow.keras.models import Sequential from tenso 阅读全文
posted @ 2024-12-15 16:44 MKY-门可意 阅读(129) 评论(0) 推荐(0)
Keras 猫狗分类
摘要：In [1]: #由于Keras已经与TensorFlow合并,tensorflow下面导入keras import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras impor 阅读全文
posted @ 2024-12-15 10:14 MKY-门可意 阅读(52) 评论(0) 推荐(0)
Transformers-pipline
摘要：HF Transformers Pipelines Pipelines接口方式 任务名称 参数名称 参数描述 sentiment-analysis model 指定使用的模型名称或路径。 tokenizer 指定使用的分词器名称或路径。 framework 选择使用的深度学习框架，"pt" 表示 P 阅读全文
posted @ 2024-12-14 17:24 MKY-门可意 阅读(109) 评论(0) 推荐(0)
Keras 识别手写数字
摘要：Keras 识别手写数字 from keras.utils import np_utilsfrom keras.datasets import mnistfrom keras.models import Sequentialfrom keras.layers import Dense, Activa 阅读全文
posted @ 2022-06-16 16:45 MKY-门可意 阅读(108) 评论(0) 推荐(0)
nvidia显卡驱动问题
摘要：系统为: centos7.8(虚拟机) 遇到的问题 1、nouveau :failed to create kernel chanel,-22 关闭nouveau vi /etc/modprobe.d/blacklist-nouveau.conf INSERT KEY blacklist nouve 阅读全文
posted @ 2021-12-18 23:29 MKY-门可意 阅读(935) 评论(0) 推荐(0)
安装部署NVIDIA TensorRT
摘要：下载文件 https://developer.nvidia.com/nvidia-tensorrt-download 用tensorrt-5 为例 下载对应的tar包即可 TensorRT 5.1.5.0 GA for Ubuntu 18.04 and CUDA 10.1 tar package 解 阅读全文
posted @ 2021-02-22 16:04 MKY-门可意 阅读(722) 评论(0) 推荐(0)
darknet yolov3训练
摘要：训练环境: win10 cuda 10.1 cudnn 10.1 darknet https://github.com/pjreddie/darknet conda3 标注数据 1、工具labelimg github的安装包地址：https://github.com/tzutalin/labelIm 阅读全文
posted @ 2020-12-31 14:36 MKY-门可意 阅读(145) 评论(0) 推荐(0)