阿里巴巴大模型算法一面-实习面经

1.自我介绍2.问项目3.GRPO,DPO,PPO区别4.LORA的秩一般是如何选取的5.小米训练用的什么框架6.LORA微调的原理7.LORA为什么可以实现少量的参数完成全量微调的效果8.手撕有效的IP地址9.反问，组里做到餐的LLM生成餐，toC和toB📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.项目baseline和最终效果2.你认为什么操作对准确率提升的贡献最大3.介绍reward fuction4.思维链怎么做的5.冷启动用了多少数据、数据分布怎么样6.为什么要用大模型做反思模块，不能用规则做吗7.Agent中的planner模块具体怎么做的8.用户不按照预期的输入使用怎么办？query改写怎么做9.Agent和workflow的区别10.图生图模型的微调数据是怎么构建的11.Hard case怎么构建12.全模态中的推理捷径是什么意思13.你的这个科研项目希望解决的具体业务问题是什么

1.你们产品里真的用大模型了吗？怎么训的？从0开始还是微调？2.LoRA 是什么？它的权重是怎么初始化的？为什么有效？3.你们实验室做过哪些横向项目？有没有处理过文档目录结构解析？4.多模态场景下，怎么让模型理解图表（比如柱状图、表格）？5.RAG 你们怎么优化的？chunk size / overlap 怎么设？有没有加 rerank？6.SFT 阶段用了多少卡？训练时长多久？数据量级是多少？7.预训练 loss 用的什么？怎么评估模型效果？（我当时答不会…）8.有了解 Perplexity（PPL）吗？它和 loss 有什么关系？9.长文档 PDF 处理，你们用了哪些长上下文扩展技术？10.Vision Encoder 的 loss 怎么设计的？CLIP 之后有哪些新进展？11.手撕：接雨水（LeetCode 42）

1、项目介绍2、讲述论文内容和细节3、对于模型训练过程中，如果出现样本标签数据分布极其不均衡，通常会采取什么方法来解决问题4、transformer的感受野encoder中是可以看到所有的token的，你认为感受野越大越好还是越小越好5、位置编码:sin cos，正余弦，bert可学习位置编码，rope相比于正余弦编码的优势6、欠拟合“和过拟合定义，通常如何解决?7、transformer的位置编码的基底是10000为什么设置100008、手撕:岛屿的数量