嵌入式设备算力有限，如何优化AI模型推理速度？

有没有面过北京紫光展锐（原展讯通信）嵌入式软件开发实习生岗位的家人们，可以分享一下面经吗

顺便说一句，淘天 27 届暑期实习生还在持续招人，AI工程、算法等方向都有机会，感兴趣可以查看我关联的内推记录。最近集中看了一批 AI 相关的校招简历，有个感受越来越明显：不是大家项目差距很大，而是简历呈现方式差距特别大。你会发现，候选人做的内容往往高度相似：大模型应用、RAG、知识库问答、Agent、多轮对话、Prompt 优化……甚至连技术组合都很像：Python、LangChain、向量库、FastAPI、React。可同样一类项目，有些人写完以后让人觉得“这个同学是真的做过，也想明白了”，有些人则像把一串名词拼在一起，读完只留下几个框架名。问题通常不在项目，而在你怎么把项目写出来。1....

先打基础：弄懂端侧 AI 与云端 AI 的区别，理解低功耗、低延迟、本地推理的核心要求；掌握嵌入式基础，熟悉 C/C++、ARM 架构、MCU/SOC 常识，看懂内存与算力约束。再啃核心技术：模型量化压缩是重中之重，先学 PTQ 后训练量化，快速把 FP32 转 INT8/FP16，缩小体积、提速；进阶学 QAT 量化感知训练，保住精度；顺带了解剪枝、蒸馏、轻量化网络设计。工具链必须熟练：PyTorch/TensorFlow 模型导出、ONNX 格式转换、TensorFlow Lite Micro/NCNN/MNN 端侧推理框架、量化工具使用，能跑通 “训练→压缩→移植→部署” 全流程。

#牛客AI配图神器#引言"学 AI 需要掌握什么技术？"——这个问题本身就有问题。AI 岗位已经分化得很厉害了。2023 年你说"做 AI 的"，大家默认你在训模型。2026 年你说"做 AI 的"，你可能是在写 Agent 的工具调度逻辑、在搭 GPU 集群的推理服务、在优化 RAG 的检索链路、在做端侧模型的量化部署——这些岗位需要的技术栈重叠度可能不到 30%。笼统地说"学 Python、学 PyTorch、学 Transformer"就像说"做互联网要学编程"一样正确但没用。以下按四个主...