10-05 23:11 中山大学 算法工程师 发布于山东
关注
同为半精度，FP16和BF16的区别是什么？
✅浮点数的组成
浮点数由三个部分组成：符号位（ S )＋指数位（ E )+尾数位（ M )。
以FP16为例：
1位符号＋5位指数+10位尾数＝16位
●符号位表示正负
●指数位代表可表示的数值范围，位数越多可表示数据的范围越大
●尾数位就是有效数字，位数越多可表示
数据的精度越高
✅FP16和BF16
FP16是5位指数＋10位尾数BF16是8位指数＋7位尾数
●BF16可表示数据的范围更大（与FP32一样，8位指数），而FP16范围较小
●FP16精度更高，BF16精度较低
✅为什么现在BF16更受欢迎？
1．训练稳定性：BF16在反向传播时梯度更稳定，不太需要额外的 loss scaling （损失缩放）等技巧。
2硬件友好：BF16可以直接转换到FP32，计算效率更高。
3．计算速度快：浮点数乘法和除法的能耗与尾数长度的平方成正比，BF16在运算速度上有天然优势。
📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。
浮点数由三个部分组成：符号位（ S )＋指数位（ E )+尾数位（ M )。
以FP16为例：
1位符号＋5位指数+10位尾数＝16位
●符号位表示正负
●指数位代表可表示的数值范围，位数越多可表示数据的范围越大
●尾数位就是有效数字，位数越多可表示
数据的精度越高
✅FP16和BF16
FP16是5位指数＋10位尾数BF16是8位指数＋7位尾数
●BF16可表示数据的范围更大（与FP32一样，8位指数），而FP16范围较小
●FP16精度更高，BF16精度较低
✅为什么现在BF16更受欢迎？
1．训练稳定性：BF16在反向传播时梯度更稳定，不太需要额外的 loss scaling （损失缩放）等技巧。
2硬件友好：BF16可以直接转换到FP32，计算效率更高。
3．计算速度快：浮点数乘法和除法的能耗与尾数长度的平方成正比，BF16在运算速度上有天然优势。
📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。
全部评论
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
查看8道真题和解析