摘要：
自然语言处理（Natural Language Processing，NLP）涉及处理人类语言以及与之相关的任务。以下是NLP的一些基础知识领域： 文本预处理： 分词（Tokenization）：将文本拆分为单词或子词的过程。 停用词去除（Stopword Removal）：去除常见但不携带重要信息 阅读全文
posted @ 2023-08-30 09:42
海_纳百川
阅读(63)
评论(0)
推荐(0)
摘要：
多卡训练的主要思想是将训练数据分成多个批次或样本，在每个GPU上分别处理这些数据，然后将各个GPU计算得到的梯度进行聚合，最终更新模型参数。这样可以显著加快训练过程，特别是对于大规模的深度学习模型。 多卡训练需要考虑到数据划分、梯度聚合和模型参数同步等问题，以确保各个GPU上的计算结果能够正确地协同 阅读全文
posted @ 2023-08-30 09:36
海_纳百川
阅读(238)
评论(0)
推荐(0)
摘要：
分布式深度学习技术有哪些？ 分布式深度学习技术是指将深度学习模型的训练过程分布在多个计算资源上进行加速的技术。这样可以充分利用集群中的多个GPU、CPU或者多台计算机，加快深度学习模型的训练过程，提高训练效率。以下是一些常见的分布式深度学习技术： 数据并行：将训练数据划分成多个子集，每个计算节点使用 阅读全文
posted @ 2023-08-30 09:32
海_纳百川
阅读(172)
评论(0)
推荐(0)
摘要：
前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办法 run），Pytorch 给出的官方文档看起来也比较吃力。因此这篇文章的主要目的是梳理一下笔者学 阅读全文
posted @ 2023-08-30 08:59
海_纳百川
阅读(3124)
评论(1)
推荐(1)
摘要：
<转>https://baijiahao.baidu.com/s?id=1770560671091860606&wfr=spider&for=pc 据统计，到目前为止，全球已经发布了数百个大模型。但是，哪些是最有能力的？哪些是最受业界关注的？请关注笔者列出的《2023年全球最佳大模型》。 1. GP 阅读全文
posted @ 2023-08-30 08:42
海_纳百川
阅读(218)
评论(0)
推荐(0)
摘要：
引子 DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比，DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中，主要优势在于支持更大规模的模型、提供了更多的优化策略和工具（例如 ZeRO 和 Offload 阅读全文
posted @ 2023-08-30 08:34
海_纳百川
阅读(4792)
评论(0)
推荐(0)
浙公网安备 33010602011771号