摘要：
MegEngine计算图、MatMul优化解析 本文针对天元在推理优化过程中所涉及的计算图优化与 MatMul 优化进行深度解读，希望能够帮助广大开发者在利用天元 MegEngine「深度学习，简单开发」的同时，也能够了解 CPU 优化的相关知识。从而帮助大家在模型部署的整体流程中更好地进行加速；在 阅读全文
posted @ 2021-02-17 07:49
吴建明wujianming
阅读(460)
评论(0)
推荐(1)
摘要：
MegEngine 框架设计 MegEngine 技术负责人许欣然将带了解一个深度学习框架是如何把网络的定义逐步优化并最终执行的，从框架开发者的视角来看待深度学习。 背景 AI 浪潮一波又一波，仿佛不会算法就落后于时代。 深度学习框架处理了各种设备的计算细节、求导、计算优化序列的工作，而在动态、静态 阅读全文
posted @ 2021-02-17 07:33
吴建明wujianming
阅读(152)
评论(0)
推荐(0)
摘要：
旷视MegEngine核心技术升级 7 月 11 日，旷视研究院在 2020 WAIC · 开发者日「深度学习框架与技术生态论坛」上围绕 6 月底发布的天元深度学习框架（MegEngine）Beta 版本核心技术升级与开源生态建设进行了首次深度解读。 7 月 11 日，旷视研究院在 2020 WAI 阅读全文
posted @ 2021-02-17 07:28
吴建明wujianming
阅读(347)
评论(0)
推荐(0)
摘要：
MegEngine亚线性显存优化 MegEngine经过工程扩展和优化，发展出一套行之有效的加强版亚线性显存优化技术，既可在计算存储资源受限的条件下，轻松训练更深的模型，又可使用更大batch size，进一步提升模型性能，稳定batchwise算子。使用MegEngine训练ResNet18/Re 阅读全文
posted @ 2021-02-17 06:54
吴建明wujianming
阅读(209)
评论(0)
推荐(0)
摘要：
MegEngine推理性能优化 MegEngine「训练推理一体化」的独特范式，通过静态图优化保证模型精度与训练时一致，无缝导入推理侧，再借助工业验证的高效卷积优化技术，打造深度学习推理侧极致加速方案，实现当前业界最快运行速度。本文从推理侧的数据排布（Inference Layout）讲起，接着介绍 阅读全文
posted @ 2021-02-17 06:39
吴建明wujianming
阅读(237)
评论(0)
推荐(0)
摘要：
deeplearning模型量化实战 MegEngine 提供从训练到部署完整的量化支持，包括量化感知训练以及训练后量化，凭借“训练推理一体”的特性，MegEngine更能保证量化之后的模型与部署之后的效果一致。本文将简要介绍神经网络量化的原理，并与大家分享MegEngine量化方面的设计思路与实操 阅读全文
posted @ 2021-02-17 06:18
吴建明wujianming
阅读(466)
评论(0)
推荐(0)
摘要：
Wide & Deep的OneFlow网络训练 HugeCTR是英伟达提供的一种高效的GPU框架，专为点击率（CTR）估计训练而设计。 OneFlow对标HugeCTR搭建了Wide & Deep 学习网络（WDL)。OneFlow-WDL网络实现了模型并行与稀疏更新，在8卡12G TitanV的服 阅读全文
posted @ 2021-02-17 06:00
吴建明wujianming
阅读(240)
评论(0)
推荐(0)
摘要：
BERT模型的OneFlow实现 模型概述 BERT(Bidirectional Encoder Representations from Transformers)是NLP领域的一种预训练模型。本案例中，基于论文BERT: Pre-training of Deep Bidirectional Tr 阅读全文
posted @ 2021-02-17 05:46
吴建明wujianming
阅读(339)
评论(0)
推荐(0)
摘要：
Yolov3 的 OneFlow 实现 1.简介 YOLO 系列的算法(经典的v1~v3)，是单阶段目标检测网络的开山鼻祖，YOLO—You only look once，表明其单阶段的特征，正是由于网络简单，单阶段的效率较快，使其区别于 Faster-RCNN 为代表的两阶段目标检测器，从一开始推 阅读全文
posted @ 2021-02-17 05:32
吴建明wujianming
阅读(205)
评论(0)
推荐(0)
浙公网安备 33010602011771号