高德推荐算法日常实习一面40min

1.项目介绍2.说一下 LoRA 是什么原理3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化4.Qwen的模型结构是怎么样的，相比于 LLaMA , DeepSeek 有什么区别5.怎么缓解大模型的幻觉问题6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方， DeepSeekMoE 为什么效果好，有什么值得我们借鉴创新点7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择8.讲一下 RLHF 的流程， PPO 和 DPO 算法是什么思想，写一下 PPO 和 DPO 的 Loss 表达式9.对于超长上下文业界一般是怎么做的，你知道 Qwen 是怎么做的吗10.开放题：你觉得目前大模型的上限在哪里11.代码：152．乘积最大子数组

1.Java中HashMap的底层实现原理是什么?如何处理哈希冲突?2.请解释Java内存模型(JMM)以及volatile关键字的作用原理3.什么是线程死锁?如何避免和检测死锁?4.TCP三次握手和四次挥手的过程是怎样的?为什么需要三次握手?5.请解释HTTP和HTTPS的主要区别以及HTTPS的加密原理6.什么是DNS解析过程?DNS使用什么协议和端口?7.进程和线程的区别是什么?进程间通信有哪些方式?8.虚拟内存是什么?请解释页面置换算法(如LRU)9.什么是CAP理论?在分布式系统中如何权衡一致性、可用性和分区容错性?10.如何实现分布式锁?有哪些实现方式及其优缺点?11.请解释分布式事务的解决方案(如两阶段提交、TCC.最终一致性)

1. 实习介绍2. 看了今年哪些生成式推荐论文，答onerec了3. 然后聊了半小时onerec，重点在多模态tokenizer和语义id4. 拷打简历项目(infonce的温度系数作用，faiss ANN索引，正负样本，特征工程，推理测评指标等)5. RoPE和ALiBi两种相对位置编码的原理6. SwiGLU原理，比relu好在哪7. attention常规八股(根号dk，时间复杂度，为什么要分多头)8. 用过哪些大模型微调方式，LoRA微调原理9. 了解模型蒸馏吗10. 了解目前主流多模态模型吗，扩散模型公式怎么推导的11. 手撕: lc53 最大子数组和改为求出这个子数组

1.实习介绍2.DP和DDP区别3.介绍Qwen-lmaget4.wan2.1、wan2.2、cogvideox.hunyuan的结构差异?你觉得哪个结构更好?5.LORA一般加到哪?rank设置有没有技巧6.人脸编辑模型的数据清洗怎么做的?怎么确保的良品率和误杀率?在什么样的机器上进行的7.你认为决定现在基模能力的方面有哪些?8.Deepspeed的三阶段zero简单介绍一下9.手撕:casual-selfAttention