盲审通过啦

打工人不容易，工作太苦了，有时候都让我觉得做人太累了，想当狗，最好是祁厅长（祁同伟）村的，因为他们村的“野狗都能当警犬”。作为公司里的“歹人”，我一向在公司发光发热，给他们带去无尽的欢乐，而我换来的是一顿顿暴揍，真不知道我图什么？可能是我“乐于奉献”。歹人故事：我治好了我同事们离开工位不爱锁屏的坏习惯 公司三令五申离开工位要锁屏保证公司的隐私安全，我作为公司规章制度完美的遵守者（其实是我单纯狗），时时刻刻把这一规章制度装在心中，所以本着提醒同事遵守规章制度的目的。当同事们离开工位不锁屏的时候，我就知道我“立功”的机会来了，我就做到他的电脑前，打开谷歌浏览器，精挑细选几幅美丽的壁纸把同事当前我实...

 应该是挂了，哎

因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...