Fork me on GitHub
摘要: 上图也是某种意义上的梯度累加:一般是直接加总或者取平均,这样操作是scale了,其实影响不大,只是确保loss计算时的value不至于太大。batchsize超过64的情况不多(batchsize太大会有副作用),这时候优化的粒度没那么细,scale操作适当又做了惩罚。可能在某些时候比不加收敛更快 阅读全文
posted @ 2021-03-30 17:53 stardsd 阅读(14767) 评论(0) 推荐(0) 编辑
摘要: 你想获得双倍训练速度的快感吗? 你想让你的显存空间瞬间翻倍吗? 如果我告诉你只需要三行代码即可实现,你信不? 在这篇博客里,瓦砾会详解一下混合精度计算(Mixed Precision),并介绍一款Nvidia开发的基于PyTorch的混合精度训练加速神器--Apex,最近Apex更新了API,可以用 阅读全文
posted @ 2021-03-30 16:26 stardsd 阅读(2053) 评论(0) 推荐(0) 编辑
摘要: 1.实数数的表示 参考深入理解C语言-03-有符号数,定点数,浮点数 1.1定点数 一般在没有FPU寄存器的嵌入式系统中使用比较多。比如常见的32位系统中,将高16位作为整数部分,低16位作为小数部分。这样就可以用整数来模拟定点数的 + - * / 运算。关于定点数的数学分析,请参考以下文档:htt 阅读全文
posted @ 2021-03-30 16:02 stardsd 阅读(14856) 评论(0) 推荐(0) 编辑