简述 Transformer 多头注意力机制理解词间关系的原理。​训练 Transformer 时，如何解决梯度消失或梯度爆炸问题？​GPT 等模型对 Transformer 结构做了哪些改进以提升生成效果？​如何优化 Transformer 模型预测速度？​说明 RAG 结合外部知识库与大语言模型提升回答准确性的机制。​用 RAG 构建问答系统时，如何处理检索内容不相关或不全的问题？​如何确定 RAG 系统中文档的合适切分粒度？​当 RAG 系统知识库数据量大、检索慢时，有哪些提速方法？​如何协同使用 Transformer 与 RAG 以发挥最佳效果？​用 RAG 优化模型回答，有哪些实用...

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

java的锁有哪些类型java中你常用的集合有哪些java的可重入锁是怎么实现的java里面常用的设计模式有哪些CAS会有什么问题什么时候用hashmap、什么时候用concurrenthashmap怎么保证Redis缓存的最终一致性什么是cache aside模式用Redis实现分布式锁时要注意什么慢SQL怎么排查，怎么优化

    从公司请假来到学校参加答辩。算来我已经有半年没回学校了，这一次显得格外亲切有陌生，亲切是这里的每一处角落都承载着我的大学故事，而陌生则是大家都少了当初的那份青春热情，学校里都已经是学弟学妹们的舞台了。    我的本科论文可以说凝聚了我四年的学习成果，我是一个字一个字得敲出来的，完全没有ai的帮助。在答辩的尾声，老师看着我的论文致谢，说到“你的论文挺不错，致谢写的也很好，你在最后一句写到‘落笔于此，宣告我的学生时代即将结束’，但是我希望你的学生时代可以继续，继续去深造”，老师的这句话直接戳中了我心中的意难平....    我的大学是充满了迷茫与内耗。其实在一开始，我自己的规划并不是就业，那个时候的我心中有一颗学术梦，对各种新鲜知识表现的特别渴望，硕士、博士都在我的规划之中，就连我的前女友都一直希望我能继续深造下去。然而由于家庭原因，经济条件直接断崖式下跌，到大三的时候我才说服自己别追求自己的学术梦了，好好去赚钱吧，尽管当时的我已经在奋力备考的状态了。就这样我带着遗憾踏上了重新学习、做项目、实习、校招的路，这也就是为什么我的基础薄弱，在笔试面试很不占优，只能靠速成的方式蒙混过关。    回顾以往，也许这可以说是我最大的意难平了，当理想与现实之间发生冲突时，我相信大部分人应该都会选择向现实屈服吧。对于我这种家庭条件不好的人来说，追求理想本就是一件很奢侈的事情。虽然心有意难平，但我不后悔我的选择，我依然庆幸我选择了就业而不是深造，因为我的家庭真的很需要钱。