4月投的日常实习,突然开始面我面试官那边麦不是很好,一直听不太清1.自我介绍2.项目问题:说一下模型推理中的显存优化3.项目问题:讲一下flashattention,是在那一部分优化,如何做的4.项目问题:矩阵分块,分完块放在哪种显存上面?5.项目问题:你矩阵分块,但是总参数量没有变,他是节约了什么6.项目问题:讲一下pageattention7.你知道其他推理加速的方法吗(pd分离,持续批处理)8.训练过程中有什么优化你知道吗?9.实习问题:如何做的function call10.实习问题:微调的格式与llama的格式相同吗?为什么不一样11.你知道对function call如何做评测吗?手撕:大数乘法