Dsp Tian

摘要： 之前用LSTM做了个文本分类，这次用Transformer实现相同的功能。 不过这里不再做分词了，而是根据当前学习文本构建字表。 同样也不使用BucketIterator做数据填充，而是先根据句子字符长度排序，然后同一个batch中做字符填充。 最后给了一个测试例子。 import torch im 阅读全文

摘要： 注意力机制中MHA，MQA和GQA是三种经典的结构： MHA：每个头有独立的Q、K、V，参数多，模型表现力强，计算成本高。 MQA：所有头共享K和V，每个头有独立的Q，参数少，计算快，但可能牺牲一定的表达能力。 GQA：折中方案，将头分成g组，每组共享K和V，平衡参数和性能。 下图比较好的展示了三种 阅读全文

摘要： 这里存四种格式： 1. 只保存模型参数的pth文件。 2. 能在python环境下读取的的模型结构和参数pt文件。 3. 能在c++环境下读取的模型结构和参数pt文件。 4. 能在pytorch环境外被其他框架读取的模型结构和参数onnx文件。 import torch import torch.n 阅读全文

摘要： 多个onnx可以合并为一个onnx，这样在c++调用的时候会方便一些。 如果有原始pytorch代码和模型参数，可以在导出时合并。 如果只有onnx文件，可以用下面的方法合并，每个模型各自是各自的输入输出。 import onnx import torch import torch.nn as nn 阅读全文

摘要： cmd下输入： echo off|clip 阅读全文

摘要： MobileNetV2的结构图： MobileNetV2 的核心创新之一是使用了 倒残差块（Inverted Residual Block）。与传统的残差块不同，倒残差块的结构将卷积操作的顺序进行了颠倒： 标准的残差结构：通常先是一个大卷积层（例如，3x3 卷积），然后接一个更小的卷积层（例如，1x 阅读全文

摘要： 可以尝试输入下面命令： pulseaudio -k && sudo alsa force-reload 阅读全文

摘要： 一般深度学习的开发流程是训练好模型导出pth，然后转换为onnx。 但是如果一开始只有onnx，且onnx结构不是特别复杂，可以通过onnx反向推出pytorch模型结构。 下面用Horizon提出的mixvargenet做个例子，开发环境中只找到了onnx文件。 文件下载地址：https://gi 阅读全文

摘要： 这里记录一下用yolo11训练coco数据集。 1、下载coco数据集：https://cocodataset.org/#download，下载这三个文件即可：2017 Train images [118K/18GB]，2017 Val images [5K/1GB]，2017 Train/Val 阅读全文

摘要： yolo11和yolo8后处理方法是完全一样的。 首先安装ultralytics，然后执行下面代码导出yolo11l.onnx模型。 from ultralytics import YOLO model = YOLO('yolo11l.pt') success = model.export(form 阅读全文