2022年4月27日
GPU并行推理的一个疑问
摘要： GPU是并行方面的行家，可是我发现当我利用libtorch，一个GPU同时运行多个模型进行推理时，两个模型的耗时都有大幅度的增加，这是很令人疑惑的问题。 按照CPU线程同步的思路，如果我开启多个线程进行工作，相比于单个线程的工作，其耗时是轻微增加或不增加的。 所以我的内心产生了一个疑惑，难道GPU不 阅读全文
posted @ 2022-04-27 14:39 澳大利亚树袋熊 阅读(1457) 评论(0) 推荐(0)