大模型算法实习生

主包本2硕c9，本来是java选手，最近投实习挫折太大了，看大模型岗多想试试。项目只有一个点评+一个造数据库求问大佬应该补哪些内容呀以及项目应该怎么改呀

1.实习介绍2.展开讲一下在百度实习的工作3.实习工作具体是如何做的？4.具体探索过程是怎样的？5.想法是如何逐步优化的？6.介绍一下你了解的其他基于 MoE 的模型架构7.如果基于 MoE 的模型在训练时负载均衡不好怎么办？8.讲一下负载均衡的概念9.如何解决负载均衡问题？10.讲一下 DPO、PPO、GRPO 的区别11.如果在训练 DPO 的过程中，正例和负例的 loss 都在下降，该如何解决？12.讲一下 RAG 项目的亮点13.如果召回的答案不是想要的，该怎么处理？14.算法题：求根节点到叶节点数字之和（LeetCode 129，非 Hot100）

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好（大一些，甚至可以到10k+，为12.了构造好的negative样本）13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素

1. 实习介绍2. 看了今年哪些生成式推荐论文，答onerec了3. 然后聊了半小时onerec，重点在多模态tokenizer和语义id4. 拷打简历项目(infonce的温度系数作用，faiss ANN索引，正负样本，特征工程，推理测评指标等)5. RoPE和ALiBi两种相对位置编码的原理6. SwiGLU原理，比relu好在哪7. attention常规八股(根号dk，时间复杂度，为什么要分多头)8. 用过哪些大模型微调方式，LoRA微调原理9. 了解模型蒸馏吗10. 了解目前主流多模态模型吗，扩散模型公式怎么推导的11. 手撕: lc53 最大子数组和改为求出这个子数组