摘要: ConvReLU++ Reference-based Lossless Acceleration of Conv-ReLU Operations on Mobile CPU 1 核心问题 为了优化边缘设备上的 CNN 推理,我们寻求一个机会来节省 ReLU 的计算和延迟。ReLU 是一种广泛使用的 阅读全文
posted @ 2024-01-03 23:23 SheepHuan 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 原文地址 Abstract (key idea) 现在的Mobile Devices配备了很多的CPU+GPU+DSP的设备。但是现在的大多数NN model因为自己的顺序结构导致无法充分地利用这些异构处理器。本文提出了一种新的模型适应(model adaption)策略NN-Stretch,它针对 阅读全文
posted @ 2023-11-03 16:11 SheepHuan 阅读(103) 评论(0) 推荐(0) 编辑
摘要: LLM现在太火了,MNN也终于开源了一个MNN-LLM 项目支持 1 MNN-LLM 编译 1.1 android编译cli_demo 我们先去MNN那儿下载.so库和include/MNN。分别放入libs/和include上。 然后按照readme编译,我写了在windows上交叉编译的脚本。 阅读全文
posted @ 2023-10-22 21:59 SheepHuan 阅读(196) 评论(0) 推荐(1) 编辑
摘要: 1 Q-Learning 强化学习中有state和action的两个重要概念。而Q-Learning算法就是用来得到在state上执行action的未来预期奖励。具体的算法流程如下: 初始化一个Q-table。 在当前状态\(s\)选择一个动作\(a\)。 执行动作\(a\),转移到新的状态\(s' 阅读全文
posted @ 2023-10-20 00:02 SheepHuan 阅读(26) 评论(0) 推荐(0) 编辑
摘要: intel NCS2计算棒是由openvino支持的,但是目前openvino只有2022.3.1版本支持NCS2了,之后的版本都不支持计算棒了。 本文记录一下再NVIDIA Jetson Nano上用openvino实现NCS2的调用。 通过交叉编译openvino samples,通过bench 阅读全文
posted @ 2023-10-16 20:19 SheepHuan 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 这篇工作还是做的是一个DVFS技术,来动态调整CPU/GPU的电压和频率,达到节能、控温。 1. introduction 传统的DVFS技术主要停留在操作系统内核层面,与应用程序无关。但是不同的应用的需求决定了它们的最佳的CPU,GPU的功耗分布。 一些DVFS无法摆脱过热的问题。这里举例(图1) 阅读全文
posted @ 2023-10-10 15:08 SheepHuan 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 1.1 introduction 传统的DVFS的解决方案现在变成了次优解,因为没考虑到工作负载的特性。zTT提到了。 最近的面向应用的(application-oriented)的研究,通过给定应用的工作负载的上下文来学习和预测合适处理器频率。很难广泛应用开来。 现在手机的多任务情况越来越多,面向 阅读全文
posted @ 2023-10-08 16:50 SheepHuan 阅读(74) 评论(0) 推荐(1) 编辑
摘要: onnxruntime官方文档没有及时更新,有些地方和实际有些出入。这里记录一下onnxruntime-v1.16.0版本的编译指令。 1 linux x64交叉编译linux aarch64 1.1 准备要求 官方的给的的cmake编译文档是:Build for inferencing | onn 阅读全文
posted @ 2023-10-06 12:39 SheepHuan 阅读(193) 评论(0) 推荐(0) 编辑
摘要: ## 1 端侧推理框架经验总结 总结下最近用过的一些框架,并介绍他们的主要特点和转换过程。 1. onnxruntime 2. ncnn 3. mnn 4. tensorflow lite 5. huawei hiai 6. paddlelite ## 2 模型部署转换过程 我们以torchvisi 阅读全文
posted @ 2023-08-12 18:48 SheepHuan 阅读(95) 评论(0) 推荐(0) 编辑
摘要: ## 1 复现PaddleLite v2.11 demo 为什么复现2.11的版本呢?因为2.12的复现不出来. ### 2.1 准备 1. 设备: 九鼎创展 x1808开发板. 默认ssh账户root,密码123456 - 刷机要点: 按住K1键,然后板子上电,进入LOADER模式,使用瑞芯微提供 阅读全文
posted @ 2023-06-20 16:59 SheepHuan 阅读(66) 评论(0) 推荐(0) 编辑
摘要: ## 1 编译ncnn ### 1.1 依赖 1. [ncnn@20230517](https://github.com/Tencent/ncnn/tree/20230517) 2. [protobuf@3.20.x](https://github.com/protocolbuffers/proto 阅读全文
posted @ 2023-06-17 16:36 SheepHuan 阅读(131) 评论(0) 推荐(1) 编辑
摘要: 根据PaddleLite v2.12版本的[文档](https://www.paddlepaddle.org.cn/lite/v2.12/performance/benchmark_tools.html),Paddle已经提供了一个再Linux,MacOS以及Android平台上的C++ Bench 阅读全文
posted @ 2023-06-08 14:00 SheepHuan 阅读(90) 评论(0) 推荐(0) 编辑
摘要: 针对Intel的CPU电源策略的考虑: P-State,C-State分别意味着什么? 为什么调整CPU的P-State并添加负载,CPU状态会调整回来。 是Linux调整,还是CPU自己调整的,C-State是OS在调整 1 基本概念 1.1 C-State and P-State P-state 阅读全文
posted @ 2023-05-29 15:46 SheepHuan 阅读(797) 评论(0) 推荐(0) 编辑
摘要: ## 1 [MobileOne](https://arxiv.org/pdf/2206.04040.pdf) ### 1.1 重要分析(Insight) 1. 作者为了找到**端侧推理时模型架构中的瓶颈部分**,它基于CoreML在iPhone上进行了延迟测试。 2. 经过测试,作者认为对于移动设备 阅读全文
posted @ 2023-05-26 23:15 SheepHuan 阅读(93) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2023-05-25 13:44 SheepHuan 阅读(3) 评论(0) 推荐(0) 编辑