文章分类 - 上手MindSpore系列
摘要：时间可过得真快，本周小Mi的更新便是我们机器学习系列的最后一期啦！说了那么多理论，总该来点案例对不对！废话不多说，让我们开始吧~ 定义 那么什么是图片文字识别呢？其实对应的英文全称为Photo Optical Character Recognition，也可以翻译为图片光学字符识别。 随着智能手机拍
阅读全文
摘要：小Mi机器学习系列的汇总网页终于千呼万唤出来啦！！！其实早在做这个系列的一开始，小Mi就曾设想做一个这样的东西，没想到转眼刚小半年，今天终于全部更新完毕！好开心，好激动，要飞起~~ 1.介绍篇： 机器学习就是对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么
阅读全文
摘要：在比赛一开始，我们队长就将每个人的模块和区域进行分划，采取自主选择模式，我选择的是核心代码模块中的前四个模块，分别是数据处理与数据增强模块，分布式并行模块，图优化模块和动态图模块。起初我对C++语言并不是十分熟悉，所以花了一部分时间学习，在这四个模块中，我主攻的是动态图模块和数据处理与数据增强模块中
阅读全文
摘要：图优化模块 MindCompiler（编译优化层）：图层的核心编译器，主要基于端云统一的MindIR实现三大功能。包括硬件无关的优化（类型推导、自动微分、表达式化简等）、硬件相关优化（自动并行、内存优化、图算融合、流水线执行等）、部署推理相关的优化（量化、剪枝等），其中我负责的模块就是MindIR模
阅读全文
摘要：深度学习，听到这个词大家肯定一点都不陌生，没错，今天开始，小Mi带领大家进入全新的系列——跟着小Mi一起深度学习，让我们有态度地深度学习！ 概念区分 那么有人就会问了，不是已经学过机器学习了吗？还需要学习深度学习干啥？其实在机器学习这块，小Mi只是简单给大家介绍了各种学习的算法，而深度学习算得上是机
阅读全文
摘要：写在前面 在MindSpore开发过程中，由于动态Shape算子的开发需求，再加上MindSpore的动态Shape也在持续完善，笔者遇到了框架上的一些问题。通过查看源码和相关文档的方式，获得了初步的解决方案和感悟。这篇博客主要是将当时的见闻加以整理，并给出一点点开发建议。由于本人刚入职不久，本博客
阅读全文
摘要：5/30-5/31 Mindspore集训营总结 1. 概述 本期主要涉及了基于Mindspore0.3.0新版本基础上的一些开发过程，包括基于wasm后端使用rust语言开发mindspore算子，实现eBPF与Mindspore的协同从而实现ai网络训练过程的可观测性找到性能瓶颈，基于Volca
阅读全文
摘要：这个周末参加了华为mindspore社区举办的Mindspore集训营第二期的活动。 这一期的内容为： MindSpore的WASM与Rust实验 基于eBPF的AI_Kernel观测 轻松使用Volcano和Kubeflow进行分布式部署 MindSpore_QuickStart之LSTM讲解_L
阅读全文
摘要：深度学习大潮出现之后，AI行业迎来了历史上的又一轮兴奋期。如今也同经历过的历史一样，兴奋已经过去，很多乐观的预言（例如“全自动驾驶”）并没有实现而且被业界认为不可能在当前技术架构下实现。不过技术的进步还是广泛的开花结果，进入了大范围的落地阶段。AI算法在我们今天每个人的生活中扮演着不可或缺的角色，比
阅读全文
摘要：“ModelArts + MindSpore”实战Wide&Deep实现CTR预估 “MM”我知道，但是什么是Wide&Deep？什么是CTR？ 前言 尽管之前参与的【2020华为云AI实战营】，涉及到8大热门领域：图像分类、物体检测、自然语言处理NLP、OCR文字识别、图像分割、视频分析、人脸识别
阅读全文
摘要：ModelArts+MindSpore,前端小工和"MM"玩转AI 首个全场景AI实战营-- MindSpore 21天实战营在全网疯狂拉票的最后一场较量中落下帷幕，然而“See the future with ModelArts + MindSpore”，同时AI学习之路永不止步。本文将回顾我在M
阅读全文
摘要：前端时间在做transformer的相关工作, 使用了BERT的masked language model预训练方法. 在分布式情况下, 使用数据并行和模型并行进行训练. 训练过程中发现loss不下降的问题, 最后通过排查发现在模型并行中, 输入数据不一致的问题. 最后定位到了dataset生成数据
阅读全文
摘要：1 MindSpore版本号 2 硬件平台和操作系统 官方安装指南推荐Ubuntu 18.04但是手头只有Ubuntu 20.04，尝试了下，也成功安装了。 3个人邮箱号 unseenme@163.com 4 学习笔记 4.1 关于新特性：动态图分布式训练效率的大幅提升 MindSpore提供了St
阅读全文
摘要：AI开发者有时会遇到超大模型的训练问题，即模型参数所占内存超过了设备内存上限。为高效地训练超大模型，一种方案便是分布式并行训练，也就是将工作交由同构的多个加速器（如Ascend 910 AI处理器，GPU等）共同完成。但是这种方式在面对几百GB甚至几TB级别的模型时，所需的加速器过多。而当从业者实际
阅读全文
摘要：原文： https://www.cnblogs.com/devilmaycry812839668/p/15023221.html 相关内容参考： https://www.cnblogs.com/devilmaycry812839668/p/15022320.html docker 容器内安装 ncc
阅读全文
摘要：MindSpore分布式并行训练位于MindSpore架构的前端表示层部分。它是对MindSpore计算图的优化。 并行模式概述 在深度学习发展的过程中为了更好的网络学习能力和泛化能力，数据集和模型规模都呈指数式提高。在NLP领域随着Transformer层的堆叠，模型的精度确实有所提高，但与此同时
阅读全文
摘要：2. 分布式训练通信方法 2.1集合通信原语 MindSpore采用了集合通信模式来交互梯度或activation。所谓集合通信模式是指，模型切分后，通过集合通信原语来实现不同模型切片之间的数据交互。集合通信原语主要有Broadcast、AllGather、AllReduce、ReduceScatt
阅读全文
摘要：2.1.3. ReduceScatter 提供group内的集合通信reducescatter功能。ReduceScatter是mindspore为实现通信算子的自动微分，为AllGather提供的反向算子。 class ReduceScatter(PrimitiveWithInfer): """
阅读全文
摘要：2.1.2. AllGather Gather Gather 从好多进程里面收集数据到一个进程上面。这个机制对很多平行算法很有用，比如并行的排序和搜索。下图是这个算法的一个示例。 Gather 从其他进程收集元素到根进程上面。元素是根据接收到的进程的rank排序的。 AllGather 很多时候发送
阅读全文
摘要：2.1.4. AllReduce Reduce 与 Gather 类似，Reduce 在每个进程上获取一个输入元素数组，并将输出元素数组返回给根进程。 查看当进程拥有多个元素时会发生什么也很有用。 下图显示了每个进程归约多个数字的情况。 上图中的每个进程都有两个元素。 结果求和基于每个元素进行。 换
阅读全文
浙公网安备 33010602011771号