【手机端-推理框架】Tensorflowlite/mnn/ncnn

简介

1. Tensorflowlite
   TF lite是为了把训练好的模型部署应用在移动端或者嵌入式端。TensorFlow lite的高效，体现在对模型进行了精简，并且基于移动平台对神经网络的计算过程组了基于指令集和硬件的加速。

2. ncnn&mnn
   两者都是为了手机端进行轻量化推理实现的轮子。并且针对推理进行加速（常见的Winograd加速），一些操作层的融合加速。相比于tf、caffe和torch原生的推理模块，这样的框架表现出强大的加速效果。

• MAC 、Windows、Linux等桌面系统 用openvino ，intel自家优化x86，有量化
• 手机上选择，ncnn mnn tnn等arm opencl的优化成果。阿里腾讯，移动端切身所需。需要附加量化工具
• 带GPU的桌面系统，用tensorrt，nv自家的，还有量化