个人观点(抛砖引玉)先说一下观点，嵌入式只是技术方向。工业4.0和智能ai时代，嵌入式肯定算是风口。但是也有问题部分技术过于陈旧。 软件设计无限重复造轮子。和互联网比，相对没那么卷，因为这个行业变化缓慢。技术门槛会比互联网更高（因为不同于调api的前后端，嵌入式必须要造轮子，定制轮子）上限也许目前没有互联网高，但是逐步互联网浪潮褪去我认为是差距不大的。个人行业理解再说一下行业。相同技术行业差距巨大。楼主从事过机顶盒（夕阳行业）监控（海康大华华为卷到烂，护城河在政府关系）物联网（热钱很多，但是至今未落地）汽车电子（目前相对比较好的嵌入式发展方向）医疗器械（有不少前同事做这个行业，本人不是太了解，...

已经不紧张了  

难绷

因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...