marsggbo

摘要： 假如我们得到了如下的checkpoints， 上面的文件主要可以分成三类：一种是在保存模型时生成的文件，一种是我们在使用tensorboard时生成的文件，还有一种就是 这个文件夹，这个是使用 工具生成的，该工具可以跟踪TPU的计算过程，并对你的模型性能进行分析，这里就不想详细介绍了。本文主要介绍前 阅读全文

摘要： 参考：https://christophm.github.io/interpretable ml book/proto.html EML简介 Example based Machine Learning (EML) 是从数据集中选择特殊的样本来进行学习。下面看几个例子来理解： 一个医生给一个病人看病 阅读全文

摘要： 我们常写的报告大都由封面、目录、正文和附录组成，但是页码通常是从正文开始的，所以下面介绍如何从指定页面开始设置页码。 在介绍之前需要了解一下 分隔符 的作用。分隔符大体分成 分页符 和 分节符 。 分页符细分的几个功能不加赘述，看图中说的很清楚了。 主要介绍一下分节符中的 下一页 。这个和 分页符 阅读全文

摘要： 平常都是无脑使用backward，每次看到别人的代码里使用诸如autograd.grad这种方法的时候就有点抵触，今天花了点时间了解了一下原理，写下笔记以供以后参考。以下笔记基于Pytorch1.0 Tensor Pytorch中所有的计算其实都可以回归到Tensor上，所以有必要重新认识一下Ten 阅读全文

摘要： 关于为什么要用Sampler可以阅读 "一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系" 。 本文我们会从源代码的角度了解Sampler。 Sampler 首先需要知道的是所有的采样器都继承自 这个类，如下： 可以看到主要有三种方法：分别是： : 这个很好 阅读全文

摘要： 最后输出为 可以看到整个流程如下： replicas : 将模型复制若干份，这里只有两个GPU，所以复制两份 scatter : 将输入数据若干等分，这里划分成了两份，会返回一个tuple。因为batch size=16，所以刚好可以划分成8和8，那如果是15怎么办呢？没关系，它会自动划分成8和7， 阅读全文

摘要： Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell level and network level search 以往的NAS算法都侧重于搜索cell的结构，即当搜索得到一种cell结构后只是简单地将固定数量的cell按链式结 阅读全文

摘要： nn.Module vs nn.functional 前者会保存权重等信息，后者只是做运算 parameters() 返回可训练参数 nn.ModuleList vs. nn.ParameterList vs. nn.Sequential 的作用就是wrap pthon list，这样其中的参数会被 阅读全文

摘要： Broadcast 看名字就很好理解了，其实就是把同一份数据分发广播给所有人，示意图如下： Scatter 不同于Broadcast， scatter可以将不同数据分发给不同的进程。 Gather 这个也很好理解，就是把多个进程的数据拼凑在一起。 Reduce reduce就是将多个进程中的数据按照 阅读全文

摘要： 乍看正定和半正定会被吓得虎躯一震，因为名字取得不知所以，所以老是很排斥去理解这个东西是干嘛用的，下面根据自己和结合别人的观点解释一下什么是正定矩阵(positive definite, PD) 和半正定矩阵(positive semi-definite, PSD)。 定义 首先从定义开始对PD和PS 阅读全文