Angry_Panda - 博客园

python 中 ctypes 的使用尝试

摘要：最近在看Python的性能优化方面的文章，突然想起ctypes这个模块，对于这个模块一直不是很理解，不过再次看完相关资料有了些新的观点。 ctypes 这个模块个人观点就是提供一个Python类型与C类型数据转换接口或者说是规则的一个模块。ctypes定义的数据类型其实并不是一种数据类型，而更应该说阅读全文

posted @ 2021-07-19 21:54 Angry_Panda 阅读(1252) 评论(2) 推荐(0)

深度强化学习算法（深度强化学习框架）为考虑可以快速适用多种深度学习框架建议采用弱耦合的软件设计方法——快速适用于多种深度学习计算框架的深度强化学习框架设计方案

摘要：如题：深度强化学习算法（深度强化学习框架）为考虑可以快速适用多种深度学习框架建议采用弱耦合的软件设计方法今日在看强化学习的框架，发现现在的深度强化学习框架不论是依赖Tensorflow的还是PyTorch的，在设计时都没有考虑过耦合这个问题，虽然强化学习算法源于学术界，而且现在也还是主要停留于学阅读全文

posted @ 2021-07-17 21:41 Angry_Panda 阅读(680) 评论(0) 推荐(0)

分布式深度学习计算框架依赖环境——NCCL的安装

摘要：分布式深度学习计算框架（MindSpore, PyTorch）依赖环境——NCCL， NCCL提供多显卡之间直接进行数据交互的功能（可以跨主机进行）。注意：本文环境为 Ubuntu18.04 以mindspore1.2.1-gpu计算框架为示范 NCCL的官方主页： https://develo 阅读全文

posted @ 2021-07-17 13:20 Angry_Panda 阅读(7630) 评论(0) 推荐(0)

docker容器下安装nccl失败，报错：Failed to init nccl communicator for group，init nccl communicator for group nccl_world_group

摘要：相关内容参考： https://www.cnblogs.com/devilmaycry812839668/p/15022320.html docker 容器内安装 nccl 后，测试是否安装成功：使用 NVIDIA公司官方提供的测试工具： nccl-tests 国内下载地址： https://gi 阅读全文

posted @ 2021-07-17 13:14 Angry_Panda 阅读(2340) 评论(0) 推荐(0)

MindSpore分布式并行训练（GPU-Docker）mindspore—1.2.1—gpu—docker版本运行报错，Failed to init nccl communicator for group，init nccl communicator for group nccl_world_group

摘要：如题目所述：计算框架MindSpore分布式并行训练报错，具体版本：docker-gpu-1.2.1 运行环境：硬件：Intel CPU， 4卡泰坦软件：Ubuntu18.04宿主机，docker容器运行MindSpore-gpu-1.2.1-docker版本相关软件安装与免密登陆配置： d 阅读全文

posted @ 2021-07-16 23:44 Angry_Panda 阅读(666) 评论(2) 推荐(0)

（续）MindSpore计算框架如何发布训练好的模型到官方模型仓库MindSpore_Hub上 —— 对fork的MindSpore_Hub进行PR提交

摘要：参考： https://gitee.com/mindspore/mindspore/blob/r1.2/CONTRIBUTING.md 对fork的MindSpore_Hub进行PR提交： 1. 在MindSpore_hub官网代码库行进行fork （这里以gitee为例）地址： https:// 阅读全文

posted @ 2021-07-15 22:39 Angry_Panda 阅读(99) 评论(0) 推荐(0)

MindSpore计算框架如何发布训练好的模型到官方模型仓库MindSpore_Hub上

摘要：相关官方资料： https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/use/publish_model.html 参考地址： https://gitee.com/mindspore/hub/blob/r1.2/mshub_res/README. 阅读全文

posted @ 2021-07-15 14:04 Angry_Panda 阅读(165) 评论(0) 推荐(0)

【转载】 docker挂载volume的用户权限问题,理解docker容器的uid

摘要：在刚开始使用docker volume挂载数据卷的时候，经常出现没有权限的问题。这里通过遇到的问题来理解docker容器用户uid的使用，以及了解容器内外uid的映射关系。遇到的问题本地有一个node的项目需要编译，采用docker来run npm install. sudo docker r 阅读全文

posted @ 2021-07-14 21:11 Angry_Panda 阅读(954) 评论(0) 推荐(0)

（续）使用MindSpore_hub 进行加载模型用于推理或迁移学习

摘要：接前文： https://www.cnblogs.com/devilmaycry812839668/p/15005959.html 前文中，在冻结底层特征提取层的参数后，只训练最后一层全连接层，最终可以获得测试效果： 59 epoch, metric: {'Loss': 0.769819343223 阅读全文

posted @ 2021-07-13 20:18 Angry_Panda 阅读(188) 评论(0) 推荐(0)

使用MindSpore_hub 进行加载模型用于推理或迁移学习

摘要：从官方资料： https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/use/save_model.html?highlight=save_checkpoint 在模型训练过程中，可以添加检查点(CheckPoint)用于保存模型的参数，以便执行推阅读全文

posted @ 2021-07-13 13:07 Angry_Panda 阅读(515) 评论(0) 推荐(0)

Angry Panda（T-800）

公告

导航