摘要：""" Trie树 """ __author__ = 'youngf' class TrieNode: def __init__(self): self.children = {} self.last = False class Trie: def __init__(self): self.root 阅读全文

摘要：概览 torch.utils.data主要是负责容纳数据集、数据打散、分批等操作。 这里面有三个概念：数据集dataset，抽样器sampler，数据加载器dataloader。其中第三个就是最终对外的接口，也是最重要的。 它们之间的关系是：首先需要根据源数据创建数据集dataset，然后根据dat 阅读全文

摘要：对CUDA架构而言，主机端的内存可分为两种，一种是pageable memory，即可分页内存；另一种是pinned memory，即页锁定内存。 主机默认分配的是pageable memory，也就是说，根据操作系统的指示，主机虚拟内存（内存空间很小，所以内存只放部分数据，其余不重要的放在硬盘中， 阅读全文

摘要：第一篇 pytorch分布式训练1 在pytorch 1.6.0，torch.distributed中的功能可以分为三个主要的组件： Distributed Data-Parallel Training（DDP）是一个广泛采用的单程序多数据训练方法。使用DDP，模型会被复制到每个进程，然后每个模型副 阅读全文