2020年9月1日
轻量化模型训练加速的思考（Pytorch实现）
摘要： 0. 引子 在训练轻量化模型时，经常发生的情况就是，明明 GPU 很闲，可速度就是上不去，用了多张卡并行也没有太大改善。 如果什么优化都不做，仅仅是使用nn.DataParallel这个模块，那么实测大概只能实现一点几倍的加速（按每秒处理的总图片数计算），不管用多少张卡。因为卡越多，数据传输的开销就 阅读全文
posted @ 2020-09-01 17:08 LyleChen 阅读(1534) 评论(0) 推荐(1) 编辑