随笔分类 -  TVM 开源日记

摘要:1 简介 截止至目前为止,在裸机设备上运行机器学习任务是比较困难的,其难点我认为主要集中在运行性能有限、跨设备难度高、跨框架难度高这两点上。在裸机上部署机器学习任务时,除了芯片产商自带的推理框架外,比较经典的跨设备框架就是 TFLite,但是 TFLite 也有其自己的缺点,那就是不能跨框架。TVM 阅读全文
posted @ 2024-11-29 18:30 Zheng-Bicheng 阅读(79) 评论(0) 推荐(0)
摘要:1 新建并配置项目 1.1 新建项目 我这里想模拟 Cortex-M55 核心,因此选择 SSE-300-MPS3 由于是简单教程,我只想输出一个最简单的 Hello World,因此仅勾选串口相关的组件 这里还需要特殊勾选一下以下选项 1.2 配置Target Software Model 处选择 阅读全文
posted @ 2024-11-29 18:24 Zheng-Bicheng 阅读(154) 评论(0) 推荐(0)
摘要:1 引言 在当今快速发展的机器学习领域,TVM已经成为了一个不可或缺的工具。尤其是MicroTVM,作为TVM的一个重要分支,它专注于在资源受限的微控制器上运行机器学习模型,这在物联网(IoT)和边缘计算的背景下显得尤为重要。MicroTVM的存在极大地推动了机器学习模型在更小、更省电的设备上的应用 阅读全文
posted @ 2024-11-29 18:19 Zheng-Bicheng 阅读(149) 评论(0) 推荐(0)
摘要:1 简介 随着深度学习应用的广泛使用,量化模型作为一种有效的模型压缩技术,能够在保持模型精度的同时减少模型的计算和存储开销。本文将介绍如何在 TVM 上为 Paddle 深度学习框架中的量化模型提供解析支持。 2 量化方法 目前主流的的量化方法主要分为 QOperator 和 QDQ(Quantiz 阅读全文
posted @ 2024-11-29 18:10 Zheng-Bicheng 阅读(106) 评论(0) 推荐(0)
摘要:1 简介 在深度学习领域,模型的部署是一个关键的环节。而在模型部署中,转换和优化模型以适配不同的硬件和框架是至关重要的。TVM 是一个优秀的深度学习模型优化和部署框架,它提供了丰富的接口和功能来实现模型的高效部署。然而,对于一些特定框架和模型格式,TVM 可能需要进行一些扩展和定制,以更好地支持。在 阅读全文
posted @ 2024-11-29 18:00 Zheng-Bicheng 阅读(45) 评论(0) 推荐(0)