不积跬步无以至千里

摘要： 多头自注意力机制计算示例 多头自注意力机制计算示例 1. 输入序列和权重矩阵 假设输入序列 X 如下： X [1, 0, 1, 0] [0, 1, 0, 1] [1, 1, 1, 1] 我们有两个头，分别对应的权重矩阵如下： 头 1 WQ(1)WK(1)WV(1) [1, 0] [1, 0] [1, 阅读全文

摘要： 自注意力机制示例 自注意力机制示例 1. 输入序列 假设我们有一个简单的输入序列，包含三个词（向量表示），每个词的维度是4： x1x2x3x4 词1 1 0 1 0 词2 0 1 0 1 词3 1 1 1 1 2. 查询（Q）、键（K）和值（V）矩阵 我们定义查询、键和值的权重矩阵如下： QKV 权 阅读全文

摘要： 阅读全文

摘要： 模型剪枝是用在模型的一种优化技术，旨在减少神经网络中不必要的参数，从而降低模型的复杂性和计算负载，进一步提高模型的效率。 模型剪枝的流程：约束训练（constained training）、剪枝（prune）、回调训练（finetune) 本篇主要记录自己YOLOv8模型剪枝的全过程，主要参考：YO 阅读全文

摘要： 一，剪枝分类 所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。 1.1，非结构化剪枝 非结构化剪枝（Unstructured Puning）是指修剪参数的单个元素，比如全连接层中的单个 阅读全文

摘要： 在pycharm中的git只能看到分支，无法看到tag，如果我们想要运行某个tag版本，就只能去git bash 窗口， 首先使用git tag 查看已有的tag 然后使用git checkout tags/tag名 就切换到这个tag中了，此时pycharm中的项目代码也变成了tag的版本 或者再 阅读全文

摘要： 统信UOS、麒麟OS、方德 deb package:https://dl.todesk.com/linux/todesk-v4.7.2.0-amd64.deb 立即下载 （使用4.7.2.0覆盖安装后，临时密码将会变更） 安装命令： 01.sudo apt-get install libappind 阅读全文

摘要： import torch from torch.autograd import Function import torch.onnx # Step 1: Define custom PyTorch operator class MyCustomOp(Function): @staticmethod 阅读全文

摘要： Two Stage 的精度优势 二阶段的分类：二步法的第一步在分类时，正负样本是极不平衡的，导致分类器训练比较困难，这也是一步法效果不如二步法的原因之一，也是focal loss的motivation。而第二步在分类时，由于第一步滤掉了绝大部分的负样本，送给第二步分类的proposal中，正负样本比 阅读全文

摘要： 以SSD（Single Shot MultiBox Detector）算法为例，你可以从多个方面了解它的基础知识、结构、工作原理、优点以及应用。以下是一些建议的问题和学习路径： 基础介绍 SSD 算法的基本概念是什么？ 你可以问：SSD 是什么？它解决了什么问题？ SSD 算法的优点和缺点有哪些？ 阅读全文