请简述2~3个导致GPU计算单元使用率不高的原因，并提出改进

[问答题]

请简述2~3个导致GPU计算单元使用率不高的原因，并提出改进方式

pein531

1.GPU利用率低的可能原因：

(1) CPU数据读取跟不上；

(2) CPU、内存/显存带宽性能不足等。

(3) CPU作为中央控制器，它有时钟概念，也有多线程，它的多任务同时运作机制与GPU这样只负责计算的元件不同，CPU可能同时有其他任务，导致速度变慢；

(4) batch size太小，导致模型的并行化程度太低。

2.提高 GPU 占用率的几个思路：

(1) 增大 batch size（直到显存爆掉）；

(2) 提高单层计算量（如增大 channels、kernel size，减小 stride、group等）；

(3) 使用 cuDNN；

算法运算优化：

优化网络图，优化单位batch size的显存占用量，这样就可以装下更多的batch size，来更充分的利用GPU core等；

减少CPU其他任务的占用：减少其他读写任务等；

提高GPU利用率一定要小心日志还有训练模型保存的频次，太高会显著拉低GPU的利用率。

发表于 2020-10-26 21:01:08 回复(0)

提交观点

问题信息

C++工程师算法工程师 2019 百度 Java工程师

上传者：小小

难度：

1条回答 3收藏 808浏览

扫一扫，把题目装进口袋