嵌入式AI部署面试

#AI面会问哪些问题?#
第一,模型咋变小?​ 面试官爱问轻量化方法。比如剪枝(删掉不重要的参数)、量化(把浮点数转成8位整数,省内存)、知识蒸馏(用小模型学大模型的知识)。举个栗子,之前做图像分类,原模型20MB,量化后压到5MB,边缘设备就能跑了。
第二,硬件咋选?​ 得看场景。手机/摄像头用NPU(像华为麒麟的达芬奇核)或GPU;低功耗设备(智能手表)用MCU(带AI加速的,比如STM32H7);纯CPU也能跑,但慢。关键看算力、功耗、成本平衡。
第三,实时性和精度咋兼顾?​ 比如目标检测,原模型100ms一帧,太卡。试了剪枝+量化,降到30ms,精度掉了2%,但客户能接受。另外,用推理框架(TFLite、NCNN)调优,比自己写快很多。
第四,踩过啥坑?​ 常见的是模型在PC上准,到板子上崩——可能是算子不支持(比如某些激活函数),得换框架或改模型。还有功耗爆炸,后来用了动态调频,闲时降性能,省电30%。
全部评论

相关推荐

评论
1
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务