牛犁heart

摘要： Pytorch中剪枝源码可参考： https://github.com/pytorch/pytorch/blob/master/torch/nn/utils/prune.py 可参考： pytorch中函数接口：https://runebook.dev/zh-CN/docs/pytorch/-ind 阅读全文

摘要： 深度学习技术依赖于过参数化模型，这是不利于部署的，相反，生物神经网络是使用高效的稀疏连接的。 通过减少模型中的参数数量来压缩模型的技术非常重要，为减少内存、电池和硬件的消耗，而牺牲准确性，实现在设备上部署轻量级模型。 在Pytorch中，主要通过torch.nn.utils.prune来进行剪枝，以 阅读全文

摘要： 剪枝分类 从network pruning 的粒度来说，可以分为结构化剪枝(structured pruning) 和非结构化剪枝(Unstructured pruning) 两类 早期的一些方法是基于非结构化的， 它裁剪的粒度为单个神经元。 如果对kernel进行非结构化剪枝，则得到的kernel 阅读全文

摘要： 知识蒸馏 还是先来简单回顾下知识蒸馏的基本知识。 知识蒸馏的核心思想就是：通过一个预训练的大的、复杂网络(教师网络)将其所学到的知识迁移到另一个小的、轻量的网络(学生网络)上，实现模型的轻量化。 目标： 以loss为标准，尽量的降低学生网络与教师网络之间的差异，实现学生网络学习教师网络所教授的知识。 阅读全文

摘要： 定位蒸馏 定位蒸馏：Localization Distillation,简称LD 论文地址： Localization Distillation for Dense Object Detection 开源代码地址： https://github.com/HikariTJU/LD MMDetectio 阅读全文

摘要： 之前在解决项目中关于解析core文件中，了解了关于ELF的相关知识，当时还处于萌新（现在还处于萌新状态）对于ELF格式那是一脸懵，今天就对ELF做一个简单的了解。 ELF 首先一个文本文件只有经过编译、链接形成一个可执行文件，也就是0、1代码，才能被硬件设备所识别。如下图所示： 其中，Linux下二 阅读全文

摘要： 本节将继续学习逻辑指令(and、or、xor)和移位指令(sll、srl、sra) 逻辑指令 从CPU芯片电路角度来看，其实CPU更擅长指令逻辑操作，如与、或、异或 RISC-V指令集中包含了三种逻辑指令，这些指令又分为立即数版本和寄存器版本，分别是andi、and、ori、or、xori、xor这 阅读全文

摘要： 以 C++ 为底层基础，Python 作为上层建筑，共同搭建起高性能、易维护、可扩展的混合系统。 Python 本身就有 C 接口，可以用 C 语言编写扩展模块，把一些低效耗时的功能改用 C 实现，有的时候，会把整体性能提升几倍甚至几十倍。 使用 C++ 来开发 Python 扩展。认为其中最好的一 阅读全文

摘要： schedule与计算逻辑分离是自动代码生成技术的核心概念，由MIT CASIL组的[Jonathan Ragan-Kelley](http://people.csail.mit.edu/jrk/)在2012年发表在SIGGRAPH上的文章率先提出，然后在2013年发表在PLDI上的文章给出了sch 阅读全文

摘要： TVM源码中涉及到表达式遍历的地方，一般是适用VisitExpr接口进行，这个接口设计TVM的visitor模式，具体分析可参考：TVM:visitor设计模式 基类tvm::relay::ExprFunctor 适用visitor遍历的起点是调用VisitExpr接口，看下基类tvm::relay 阅读全文