happyyoung - 博客园

2019年8月20日

摘要： torch.utils.data.Dataset是一个抽象类，表示一个数据集。自定义的数据集要继承这个类，并且重写__len__和__getitem__方法。 __len__：len(dataset)返回数据集的size。 __getitem__：支持索引，dataset[i]用来获取第i个样本。阅读全文

posted @ 2019-08-20 20:21 happyyoung 阅读(197) 评论(0) 推荐(0)

MXNet源码解析

摘要： MXNet 阅读全文

posted @ 2019-08-20 16:30 happyyoung 阅读(652) 评论(0) 推荐(0)

2019年8月17日

AI 大规模分布式SGD：瞬间训练完基于ImageNet的ResNet50

摘要：论文：https://arxiv.org/pdf/1811.05233.pdf 译文：大规模分布式SGD：瞬间训练完基于ImageNet的ResNet50 摘要由于大mini-batch训练的不稳定性（为什么不稳定？），和梯度同步的开销，深度学习分布式训练很难线性扩展到拥有大量GPU的集群。我们通阅读全文

posted @ 2019-08-17 14:02 happyyoung 阅读(1686) 评论(0) 推荐(0)

AI 深度关键短语生成

摘要：论文：http://memray.me/uploads/acl17-keyphrase-generation.pdf 译文：深度关键短语生成摘要关键词提供高度总结的信息，可以用来有效地理解、组织和提取文本内容。虽然，前人的工作提供了很多可行的解决办法来自动提取关键短语介绍方法本节介绍深度关阅读全文

posted @ 2019-08-17 05:50 happyyoung 阅读(750) 评论(0) 推荐(0)

2019年8月16日

AI 用神经网络实现序列到序列的学习

摘要：论文：https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf 译文：用神经网络实现序列到序列的学习摘要深度神经网络模型在很多困难的学习任务中都取得了优越的表现。虽然在有大量标阅读全文

posted @ 2019-08-16 19:43 happyyoung 阅读(575) 评论(0) 推荐(0)

LSTM

摘要： LSTM 阅读全文

posted @ 2019-08-16 19:32 happyyoung 阅读(119) 评论(0) 推荐(0)

RNN

摘要： RNN（Recurrent Neural Networks）循环神经网络广泛应用于自然语言处理（NLP，Natural Language Processing） Back Propagation Through Time Vanishing gradient problem LSTM，长期依赖，阅读全文

posted @ 2019-08-16 19:25 happyyoung 阅读(215) 评论(0) 推荐(0)

NCCL

摘要： NCCL（NVIDIA Collective Communication Library），英伟达多GPU通信库。参考链接： https://docs.nvidia.com/deeplearning/sdk/nccl-developer-guide/docs/index.html 阅读全文

posted @ 2019-08-16 10:27 happyyoung 阅读(1223) 评论(0) 推荐(0)

2019年8月11日

混合精度训练

摘要：论文：https://arxiv.org/pdf/1710.03740.pdf 译文：混合精度训练摘要增加神经网络的size，可以提高准确率。但同时，也加大了训练模型所需的内存和计算量。我们介绍一种使用半精度浮点数来训练深度神经网络的方法，不会损失准确率，也不需要修改超参数。这种方法让内存需求减阅读全文

posted @ 2019-08-11 23:06 happyyoung 阅读(1369) 评论(0) 推荐(0)

2019年8月9日

深度神经网络分布式训练指引

摘要：论文：https://arxiv.org/pdf/1810.11787.pdf 译文：深度神经网络分布式训练指引摘要深度学习让人工智能领域取得了很大的进步。但是训练这些深度学习模型需要大量的计算。单机单卡训练ImageNet需要一周。多机分布式训练可以极大地减少训练时间。最近，有2048个GPU 阅读全文

posted @ 2019-08-09 11:35 happyyoung 阅读(1288) 评论(0) 推荐(0)

happyyoung's blog

公告