上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 46 下一页
摘要: 平常都是无脑使用backward,每次看到别人的代码里使用诸如autograd.grad这种方法的时候就有点抵触,今天花了点时间了解了一下原理,写下笔记以供以后参考。以下笔记基于Pytorch1.0 Tensor Pytorch中所有的计算其实都可以回归到Tensor上,所以有必要重新认识一下Ten 阅读全文
posted @ 2019-09-19 14:45 marsggbo 阅读(10857) 评论(4) 推荐(11)
摘要: 关于为什么要用Sampler可以阅读 "一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系" 。 本文我们会从源代码的角度了解Sampler。 Sampler 首先需要知道的是所有的采样器都继承自 这个类,如下: 可以看到主要有三种方法:分别是: : 这个很好 阅读全文
posted @ 2019-09-18 12:05 marsggbo 阅读(23613) 评论(1) 推荐(6)
摘要: 最后输出为 可以看到整个流程如下: replicas : 将模型复制若干份,这里只有两个GPU,所以复制两份 scatter : 将输入数据若干等分,这里划分成了两份,会返回一个tuple。因为batch size=16,所以刚好可以划分成8和8,那如果是15怎么办呢?没关系,它会自动划分成8和7, 阅读全文
posted @ 2019-09-17 15:31 marsggbo 阅读(4807) 评论(0) 推荐(0)
摘要: Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell level and network level search 以往的NAS算法都侧重于搜索cell的结构,即当搜索得到一种cell结构后只是简单地将固定数量的cell按链式结 阅读全文
posted @ 2019-09-14 17:50 marsggbo 阅读(1231) 评论(0) 推荐(0)
摘要: nn.Module vs nn.functional 前者会保存权重等信息,后者只是做运算 parameters() 返回可训练参数 nn.ModuleList vs. nn.ParameterList vs. nn.Sequential 的作用就是wrap pthon list,这样其中的参数会被 阅读全文
posted @ 2019-09-12 15:44 marsggbo 阅读(4096) 评论(3) 推荐(3)
摘要: Broadcast 看名字就很好理解了,其实就是把同一份数据分发广播给所有人,示意图如下: Scatter 不同于Broadcast, scatter可以将不同数据分发给不同的进程。 Gather 这个也很好理解,就是把多个进程的数据拼凑在一起。 Reduce reduce就是将多个进程中的数据按照 阅读全文
posted @ 2019-09-10 15:37 marsggbo 阅读(7813) 评论(1) 推荐(0)
摘要: 乍看正定和半正定会被吓得虎躯一震,因为名字取得不知所以,所以老是很排斥去理解这个东西是干嘛用的,下面根据自己和结合别人的观点解释一下什么是正定矩阵(positive definite, PD) 和半正定矩阵(positive semi-definite, PSD)。 定义 首先从定义开始对PD和PS 阅读全文
posted @ 2019-09-04 19:31 marsggbo 阅读(21670) 评论(3) 推荐(10)
摘要: 以下内容摘自《 "Bag of Tricks for Image Classification with Convolutional Neural Networks" 》。 1 高效训练 1.1 大batch训练 当我们有一定资源后,当然希望能充分利用起来,所以通常会增加batch size来达到加 阅读全文
posted @ 2019-09-04 16:35 marsggbo 阅读(961) 评论(0) 推荐(0)
摘要: 示例一 文件结构 假设你已经创建好了一个Django项目和一个App,部分结构如下: 示例代码 原理 要实现Django和ajax进行数据通信的大致原理如下: 当我们点击这个button后,触发js代码,然后ajax会将必要信息包装好,即 url :这个url是在 文件中已经注册好的,而且它与 中的 阅读全文
posted @ 2019-09-03 10:46 marsggbo 阅读(1054) 评论(0) 推荐(1)
摘要: 本文已默认你已经好创建Django工程和App。 依赖包 示例代码 MARSGGBO♥原创 2019 9 3 阅读全文
posted @ 2019-09-03 09:34 marsggbo 阅读(809) 评论(0) 推荐(0)
上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 46 下一页