lexn - 博客园

计算DSA的时间复杂度

摘要：计算DSA的时间复杂度参考;计算MHA的时间复杂度 - lexn - 博客园 1 考虑lighting index情况 Step 1：Q/K/V 投影 DSA 仍然需要对所有 L 个 token 计算 Q、K、V，无变化。标准 MHADSA 复杂度 O(L·d²) O(L·d²) Step 2：阅读全文

posted @ 2026-07-09 17:06 lexn 阅读(17) 评论(0) 推荐(0)

计算MHA的时间复杂度

摘要：计算MHA的时间复杂度 1 矩阵乘的时间复杂度公式 L*M * M * N = out L*N；时间复杂度O(L*M*N); 2 MHA需要计算的部分 1 3个W； 2 QK；3sfmx；4score*V；5结果*Wout； 3 全部时间复杂度 1 Step 1：生成 Q、K、V 投影 X (L× 阅读全文

posted @ 2026-07-09 16:15 lexn 阅读(25) 评论(0) 推荐(0)

modelscope数据使用方法

摘要： modelscope数据使用方法一在线环境加载数据直接在线加载 1 from modelscope.msdatasets import MsDataset 2 data = MsDataset.load('testUser/GSM8K_zh', 3 subset_name='default', 阅读全文

posted @ 2025-06-01 19:38 lexn 阅读(823) 评论(0) 推荐(0)

简洁说清楚图像数据格式那些事-RGB和BGR

摘要：简洁说清楚图像数据格式那些事-RGB和BGR 1 JPG 文件默认以 RGB 颜色空间编码存储. 同样 .png 也是这样的格式。 2 读文件主流包：opencv； PIL和matlib opencv：按照BGR格式读； PIL和matlib按照RGB格式读； -> 使用opencv读 jpg - 阅读全文

posted @ 2025-04-24 15:14 lexn 阅读(502) 评论(0) 推荐(0)

关于SVD-LLM的应用-基于SVD量化

摘要：关于SVD-LLM的应用-基于SVD量化一背景论文连接：https://arxiv.org/pdf/2403.07378 这是论文 github：https://github.com/AIoT-MLSys-Lab/SVD-LLM 二什么是SVD SVD可能是可以把矩阵向量转化到另外一个阅读全文

posted @ 2024-07-12 12:28 lexn 阅读(450) 评论(0) 推荐(0)

关于python中的抽象类

摘要：关于python中的抽象类本质是：不想让使用者实例化抽象类对于 abstractstaticmethod 在py3.3中弃用了。一如何定义一个抽象类 1 常规做法先import ABC 继承ABC 2 用abstractmethod或abstractclassmethod装饰一个方法。二阅读全文

posted @ 2024-06-05 15:02 lexn 阅读(73) 评论(0) 推荐(0)

transformer结构-position_encoding层

摘要： transformer结构-position_encoding层 1 完整代码 import math import torch import torch.nn as nn class PositionEncoding(nn.Module): def __init__(self, d_model, 阅读全文

posted @ 2024-04-05 13:28 lexn 阅读(213) 评论(0) 推荐(0)

LargeWorldModels-总结

摘要： LargeWorldModels-总结链接：Large World Models lwm 原理论文代码 hgf总链接链接2：[2402.08268] World Model on Million-Length Video And Language With RingAttention (arx 阅读全文

posted @ 2024-03-29 10:21 lexn 阅读(428) 评论(0) 推荐(0)

第一周-transformer详解

摘要：第一周-transformer详解一、搭建教程的环境 49. 3.1使用Transformer构建语言模型-第1步_哔哩哔哩_bilibili 1 安装conda 详解见blogs 2 创建python指定环境 $conda create -n myenv python=3.6.6 $conda 阅读全文

posted @ 2024-01-15 09:41 lexn 阅读(150) 评论(0) 推荐(0)

查看onnx模型结构-使用Netron模块

摘要：查看onnx模型结构-使用Netron模块 1 安装 $pip install netron 2 可选-查看安装的路径 $ pip show netron 3 查看onnx结构 import netron # �??�?ONNX模�??�??件�??路�? onnx_model_path = r'y 阅读全文

posted @ 2023-12-26 15:50 lexn 阅读(2188) 评论(0) 推荐(0)