摘要：在使用一些python的GPU模块，或者写CUDA时，有时会发现显存被无端占用的场景，即时执行了cudaFree()或者python的del操作，也无法消除这一块的显存占用。最终我们发现，可以通过额外开启一个子进程的方法来封装相关的操作，通过对进程的存活控制来实现对GPU显存占用的控制，有可能是一个临时规避问题的思路。 阅读全文

摘要：关于工业领域中可能使用到的随机采样，更多的是这样的一个场景：给定一个连续或者离散的分布，然后进行大规模的连续采样，采样的同时需要对每一个得到的样点进行分析打分，最终在这大规模的采样过程中，有可能被使用到的样品可能只有其中的几份。那么这样的一个抽象问题，就非常适合使用分布式的多GPU硬件架构来实现。 阅读全文

摘要：在这篇文章中，我们并没有介绍非常多的MPI的应用，其实在普通的并行或者分布式任务中，掌握了各个进程的任务处理过程以及进程间的通信方法就足够了。总体来说，MPI是一个非常通用也非常高效的并行计算软件。有了这些专业的并行化任务调度软件，我们就可以专注于专业任务的代码和算法上，而不需要过多的去关注并行任务的调度和分配问题。 阅读全文