#腾讯音乐26届实习# 自我介绍问论文问论文问项目（itemcf如何实现，优化的地方手撕transformer 伪代码，写到了decorder部分leecode 合并两个有序数组，脑子抽了 边界条件没写对 de了十分钟，尬全程无八股，面试官小姐姐很nice1h后，初试过

我看哪里都查不到苏宁的面经，自己就来写一下一面技术面，35分钟主要是问了项目相关，还有个人的一些经历，技术上没有太多的问问了一些transformer，还有大模型的知识，比如 transformer在图像上是如何做的，自己也记得看过，但是很模糊，答的不是很好反问面试流程，具体业务，自己回答的一些不足的方面PS.面试官人挺好的，说让我可以多看看大模型方面的东西，我自己做的东西说我答的挺好，然后应该就是kpi面了，早知道不请假了。后续：被约了二面，实属没想到

投递时间3.10~4.10面了淘天 控股 字节 腾讯 蚂蚁的大模型岗大概问的都差不多，主要是简历的东西，剩下一点时间会问一些八股。总结一下八股：强化学习（目前每个面试官都会问），L1 L2正则化，LoRA原理，其他PEFT方法，SFT和DPO的区别，SFT和DPO训练心得，Transformer结构，位置编码，长度外推，优化器，flash attention，分类为什么用cse而不是mse，BERT系列训练流程与各种变体，AUC指标，最近读过的论文。#暑期##算法#

面试问题：- 聊聊对transformer的理解，整体结构是怎样的？几个部分组成- Attention的公式里为什么要除以根号dk？这个操作有什么作用？另外，为什么在训练过程中容易出现梯度消失或梯度爆炸的问题？- （针对简历提问）在sft中遇到了哪些问题？最后是怎么解决的？能不能分享一下你的经验？（好好好套方案？）- （针对简历提问）领域大模型数据配比是如何考虑的？不同领域的数据比例如何确定？- 为什么现在的LLM都是Decoder-only？这种结构有什么优势？- ADAM优化器比SGD好在哪？简单介绍一下梯度下降的原理，ADAM是怎么改进的？。。。代码题：- 给定一个互不相同的整数数组 nums，求其所有子集（幂集）。（类似leetcode78）- （第二个题好像是个字符串的题，忘了）