2019年5月2日
tensorflow fp16训练
摘要： 理论 在混合精度训练中，权重，激活值和梯度是保存成fp16的形式，为了能够匹配fp32的网络精度，有一个权重的fp32的master copy。 在tensorflow中的具体实现 tensorflow支持fp16的存储和tensor计算。包含tf.float16的数据类型的卷积和矩阵运算会自动使用 阅读全文
posted @ 2019-05-02 21:48 sunny,lee 阅读(9760) 评论(1) 推荐(0) 编辑