ICPSET 2024

因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

我寻思我秋招还没结束呢春招先来了

这一年，我总在反复确认：我是不是走在正确的路上如果用一个词概括这一年，我想是：反复确认。我反复确认自己当初选的专业对不对，读研值不值；反复确认论文是不是已经尽力，方法是不是站得住脚；反复确认工作方向、人形机器人这条路，究竟是不是我真正想走的；也反复确认，在关系、选择、城市之间，我有没有辜负自己。这一年，我问了很多问题。关于论文怎么写才算“像样”，关于专利怎么写才算“不是水”，关于职场里要不要表现、要不要争、要不要忍，关于一句话该不该发、该怎么发，甚至关于一句夸人的话，能不能既真诚又不冒犯。我并不是不知道答案，只是很多时候，我太想证明我做的每一个选择，都是对的。从学生到职场，我第一次感受到“不确...