9.23 一面 20min自我介绍项目提问（主要是针对简历中大模型相关的项目提问，介绍项目流程以及主要的工作内容）技术提问：介绍一下ViT、说一下多头自注意力机制的原理和应用反问：业务？主要是用在物流场景、工业相机等，有目标检测、语义分割、视频解译等，大模型小模型多模态都会用到无手撕，很快就结束了，感觉面试官对我的项目经历不是很感兴趣，我主要是做的下游任务，可能是与他们大模型岗位不太对口，估计G了。。。

先是自我介绍，聊了聊项目和之前的实习。八股：1. 大模型预测 token 的损失是怎么算的？有哪几种常见的损失函数？2. 讲讲大模型的思维链技术？3. 聊聊 Transformer？它有啥优势？位置编码是咋做的，有啥改进？ROPE 是啥？Transformer 是怎么把文本转成 token 的？4. Lora 微调八股：矩阵 A, B 怎么初始化？为啥 B 要初始化成 0，A 不行吗？啥是矩阵的秩？5. Bert 和 GPT 有啥区别？大模型时代，小模型还有用吗？6. MHA 是啥？有啥改进？讲讲 DeepSeek 的 MLA？7. MOE 一般加在哪？从训练和推理的角度看，MOE 有啥好处？...

目前最想去的是阿里云，坐等下个月最终开奖

1. k-means聚类点初始化阶段有什么优化策略？2. 如何评估聚类的好坏？3. 介绍transformer架构？4. Attention计算时间复杂度？5. 超长序列下降低Attention时间复杂度的方法？6. Transformer用的什么Norm？7. 分类模型的指标有哪些？8. 分类模型的损失函数？交叉熵损失相比于均方差损失的优势？9. 模型训练过程中哪些行为可能导致梯度爆炸？10. 手撕 树的最长链长度 面的实在有点痛苦，主包做的大模型方向，确实对过去的分类模型不是很了解，问的东西也没什么答出来的，大模型相关的八股也没问，简历上的东西也不问，应该是业务原因吧，可能用大模型不多所以...