随笔分类 -  gpu

英伟达gpu查看显存剩余
摘要：我使用tmux常常将一块屏幕的四分之一用于观察gpu利用率和显存剩余，但是如果我使用nvidia-smi就会显示不全，因为我有10块gpu。我想了想，直接使用nvidia-smi显示的信息很多是我不需要的，我只需要gpu-id号，显存剩余，显存总量，gpu利用率就这些，那么我们可以设置只显示这些： 阅读全文
posted @ 2024-02-26 11:32 海_纳百川 阅读(401) 评论(0) 推荐(0)
nvidia显卡驱动和nvidia-cuda-toolkit组件的区别
摘要：nvidia-cuda-toolkit和NVIDIA显卡驱动是两个不同的组件，它们在使用NVIDIA GPU进行计算和图形处理时发挥不同的作用。 NVIDIA显卡驱动： NVIDIA显卡驱动是安装在计算机上的软件，它与NVIDIA的图形处理器（GPU）通信，控制GPU的功能和性能，并将计算机的图形输 阅读全文
posted @ 2023-05-17 15:22 海_纳百川 阅读(1209) 评论(0) 推荐(0)
当模型加载显存超过显存容量的解决办法
摘要：如果一个模型太大，一张12G的显卡加载不下，您可以考虑以下几个方法来解决这个问题： 使用更大的显存显卡：您可以考虑使用16G或更大显存的显卡，例如NVIDIA的Titan RTX或A100 GPU。这些显卡通常比2080ti显卡更昂贵，但可以提供更大的显存来支持更大的模型。 减小模型大小：您可以通过 阅读全文
posted @ 2023-05-15 10:56 海_纳百川 阅读(1205) 评论(0) 推荐(0)
（机器之心解读）英伟达DALI加速技巧：让数据预处理速度比原生PyTorch快4倍
摘要：你的数据处理影响整个训练速度，如果加上英伟达 DALI 库，处理速度比原生 PyTorch 也能快上四倍。 选自towardsdatascience，作者：Pieterluitjens，机器之心编译，参与：一鸣、嘉明、思。 深度学习的加速上，除了对训练和推理过程的加速之外，还有对数据加载和预处理阶段 阅读全文
posted @ 2022-09-07 09:59 海_纳百川 阅读(328) 评论(0) 推荐(0)
（英文原文版）英伟达DALI加速技巧：让数据预处理速度比原生PyTorch快4倍
摘要：NVIDIA DALI: Speeding up PyTorch Some techniques to improve DALI resource usage & create a completely CPU-based pipeline. Up to 4x faster PyTorch trai 阅读全文
posted @ 2022-09-07 09:51 海_纳百川 阅读(316) 评论(0) 推荐(0)
Pytorch中多GPU训练指南
摘要：前言 在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。 这里我们谈论的是单主机多GPUs训练，与分布式训 阅读全文
posted @ 2022-06-16 09:52 海_纳百川 阅读(2822) 评论(0) 推荐(0)

本站总访问量次