什么是混合精度训练（FP16、BF16）？

混合精度训练（Mixed Precision Training），就是在训练神经网络时，同时使用高精度（FP32）和低精度（FP16、BF16）来存储和计算不同的数据。 关键思想： 计算时用低精度（FP16、BF16），加快速度、减少显存消耗。 关键参数（如权重的累积、梯度更新）用高精度（FP32），保证训练稳定和精度。