【手机端-推理框架】Tensorflowlite/mnn/ncnn

简介

  1. Tensorflowlite
    TF lite是为了把训练好的模型部署应用在移动端或者嵌入式端。TensorFlow lite的高效,体现在对模型进行了精简,并且基于移动平台对神经网络的计算过程组了基于指令集和硬件的加速。

  2. ncnn&mnn
    两者都是为了手机端进行轻量化推理实现的轮子。并且针对推理进行加速(常见的Winograd加速),一些操作层的融合加速。相比于tf、caffe和torch原生的推理模块,这样的框架表现出强大的加速效果。

  • MAC 、Windows、Linux等桌面系统 用openvino ,intel自家优化x86,有量化
  • 手机上选择,ncnn mnn tnn等arm opencl的优化成果。阿里腾讯,移动端切身所需。需要附加量化工具
  • 带GPU的桌面系统,用tensorrt,nv自家的,还有量化
全部评论

相关推荐

04-13 11:05
中国海洋大学
ResourceUtilization:两万块的算法专家给HR自己都整笑了
点赞 评论 收藏
分享
05-07 17:58
门头沟学院 Java
wuwuwuoow:1.简历字体有些怪怪的,用啥写的? 2.Redis 一主二从为什么能解决双写一致性? 3.乐观锁指的是 SQL 层面的库存判断?比如 stock > 0。个人认为这种不算乐观锁,更像是乐观锁的思想,写 SQL 避免不了悲观锁的 4.奖项证书如果不是 ACM,说实话没什么必要写 5.逻辑过期时间为什么能解决缓存击穿问题?逻辑过期指的是什么 其实也没什么多大要改的。海投吧
点赞 评论 收藏
分享
评论
1
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务