不积跬步无以至千里

摘要： TF16 是指 TensorFlow 的混合精度（Mixed Precision）训练中使用的 16 位浮点数格式。它通常与 FP16（16 位浮点数） 和 BF16（Brain Floating Point 16 位浮点数） 相结合使用。TF16 是 TensorFlow 中对这些 16 位浮点格 阅读全文

摘要： bfloat16 (bf16)，即Brain Floating Point 16-bit，是一种16位浮点数格式，主要用于深度学习和机器学习中的高效计算。它是在Google的TPU（Tensor Processing Unit）硬件中引入的，并已被其他硬件架构（如NVIDIA A100、Intel 阅读全文