嵌入式ai/模型部署学习规划疑问

想入门模型部署,问了一下Gemini,他的回答如下,大佬们看看这#秋招白月光##模型部署##嵌入式#路径可行吗???

第 1-2 个月:打地基(Modern C++ & CMake & Linux)
目标:能看懂推理引擎源码,能独立构建多文件 C++ 项目。

核心内容:

Modern C++:跟着 HKL 视频,重点吃透 智能指针 (RAII)、移动语义 (Move)、Lambda 表达式和简单的模板。

CMake:掌握如何链接第三方库(OpenCV, CUDA, TensorRT),学会编写 find_package。

CSAPP:重点精读 第 6 章(存储层次)。理解什么是 Cache Latency。

里程碑:

在 Linux/WSL 下用 CMake 构建一个调用 OpenCV 处理视频流的小项目。

手动实现一个包含智能指针管理的简易内存池。

📅 第 3 个月:拿手术刀(CUDA 编程入门)
目标:理解 GPU 并行逻辑,能手写并优化基础算子。

核心内容:

核心概念:Thread, Block, Grid, Shared Memory, Warp Shuffle。

实战任务:手写一个 矩阵乘法 (GEMM)。

版本 1:朴素版(跑通)。

版本 2:使用 Shared Memory 优化(速度提升 5-10 倍)。

性能分析:学会使用 nsight-systems 查看 Kernel 执行时间。

里程碑:

手写一个自定义的图像预处理 Kernel(比如把 BGR 转成 RGB 并归一化)。

📅 第 4 个月:炼金术(模型转换与 TensorRT)
目标:把 PyTorch 模型变成 1660 Ti 上的极致推理引擎。

核心内容:

ONNX:学习如何导出 ONNX,如何用 onnx-simplifier 简化模型。

TensorRT:掌握 trtexec 工具,学习编写 TensorRT 的 C++ API 推理代码(创建 Runtime、Engine、Context)。

插件编写:尝试为一个 TensorRT 不支持的算子写一个 CUDA Plugin。

里程碑:

将 YOLOv8 导出为 TensorRT 引擎,并在 1660 Ti 上跑到极致 FPS。

📅 第 5 个月:工业化(量化与性能压榨)
目标:攻克部署最难的一环——精度与速度的平衡。

核心内容:

量化原理:学习对称量化 vs 非对称量化,理解 KL 散度。

PTQ 实战:使用 TensorRT 的 Int8EntropyCalibrator 进行训练后量化。

多线程部署:学习 C++ std::thread 或生产消费者模型,实现“视频读取-模型推理-结果渲染”的异步并行流水线。

里程碑:

完成一个低延迟、多线程的实时检测系统,对比 FP16 和 INT8 的精度损失与速度提升。

📅 第 6 个月:破圈与冲刺(国产迁移 & 算法 & 面试)
目标:将能力迁移,准备实习面试。

核心内容:

国产迁移:如果有条件,借或买一个 RK3588 开发板,学习 RKNN-Toolkit。你会发现,因为你有了前 5 个月的底子,这部分 2 周就能上手。

算法刷题:每天 1-2 道 LeetCode,重点是数组、链表、排序。

八股文复习:回顾 C++ 内存模型、操作系统基础。

里程碑:

整理简历,把“手写 CUDA Kernel 优化”、“TensorRT INT8 量化实战”作为核心项目写上去。
全部评论
这也太多了吧
点赞 回复 分享
发布于 昨天 11:46 上海

相关推荐

我懒羊羊觉得没问题:技术栈有点少了,项目积累不够,显得简历有些空泛啦,而且现在应该是就要找暑期实习的时候了,而且女孩子干嵌入式的不是很多,你可能得考虑一下现在来不得及以及值不值得花这么多时间去干研发
点赞 评论 收藏
分享
评论
点赞
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务