阿里大模型算法岗面经

1️⃣项目深挖：这个项目解决了什么问题？你的数据集的大小是多大？
2️⃣项目深挖：你的数据分块策略是什么，为什么要用这样的策略？
3️⃣项目深挖：Embedding 用的什么模型，为什么要用这个模型？
4️⃣项目深挖：向量召回后为什么要做rerank，rerank用的什么算法，为什么要用这个？
5️⃣项目深挖：微调数据集是什么格式，微调数据有没有做预处理，在什么环境下训练的，用了什么显卡，内存占用情况
6️⃣项目深挖：模型出现幻觉时，一般怎么解决的讲一下 Transformer 架构
7️⃣encoder-only、decoder-only、encoder-decoder 不同架构在实际应用的使用场景
8️⃣llama2 网络架构？使用了哪些注意力机制
9️⃣llama2 的位置编码了解吗? 讲讲几种位置编码的异同
1️⃣0️⃣基础大模型训练流程及资源使用情况
1️⃣1️⃣了解 langchain 吗? 讲讲主要结构和主要组件，处理复杂任务链时有哪些优势
1️⃣2️⃣显存不够时，一般怎么解决的，有哪些常见的优化方法
1️⃣3️⃣几种主流大模型的 loss了解过吗? 有哪些异同?
1️⃣4️⃣了解半精度训练吗? 展开讲讲原理和优点，在实际应用中有哪些挑战。
1️⃣5️⃣deepspeed 用过吗? 分布式训练中如何提升效率。
1️⃣6️⃣手写实现下分组注意力leetcode 题：合并K个升序链表
📳当前大模型岗位更加强调实践，如果没有做过大模型的项目且没有针对性准备过，很难回答上。对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。