字节大模型

攒个人品，秋招不指望了，希望春招能有机会上岸吧。------------------------------------------------------没有自我介绍环节，一上来直接拷打实习，边拷打边问八股，基本上是我说一个做的东西，然后面试官就要开始问对应的八股了，记录一下问的八股：1. Qwen 与传统的Transformer模型相比，有什么结构上的改进？2. RMSNorm相较于LayerNorm有什么优势？公式是什么？3. SwiGLU的公式是什么？4. GRPO的公式是什么，这样做为什么更好？5. KL散度的公式是什么，为什么要用KL散度？6. LLM的损失函数是什么？给你一个10w的词表，计算出事的损失值7. GRPO为什么要做clip，直接用SFT后的模型还会不稳定吗？优势度可以怎样改进？8. 为什么你要用GRPO？GPRO结果比之前好多少？显存开销多大？训练一个Step需要多久？奖励函数如何设置的，为什么？有没有想过为什么一开始Reward出现大幅度震荡？GRPO是否一定有效，还有什么解决方法？9. Post-Training 的工作机制，为什么要做三阶段训练？什么情况下应该用GRPO？为什么DeepSeek用了GRPO？如何从V3到R1？10. 微调是如何进行微调的？为什么LoRA能够work？除了LoRA外，还了解哪些微调方法？11. 后训练用的哪个框架？你用过什么框架？如何使用deepspeed进行分布式训练？脚本是你自己写的吗？12. 知道什么Linux命令？13. 用过C++，Java吗？平时用什么多?14. 如何去评价你工作的产出和质量（基本上每个面试官都会问）15. FLUX的工作原理，LoRA在这个地方起到了什么作用？16. 你认为实习过程中哪些是从零到一的工作？（全部！鼠鼠之前学地理的）遇到一个不熟悉的领域，你会如何进行学习？-------------------------------------------------------大概是这些，可能不是很全手撕：删除链表中的节点；快慢指针秒了反问：面试官先介绍了下部门业务，随后反问：1. 为啥初试后又是初试？（可以自己点的，实际上就是二面）2. 后续几轮面试呢？（三轮，还有大老板面）3. 工作强度 （8-9.30左右）4. 这个岗位需要什么样的人？ （努力学习新知识，耐心）总而言之美团的面试体验真没的说，面试官会笑这一点就值得夸了，全程没啥压力，但是估计凉了，有些没答好

这一期也写到第四期了，我也算大模型老油条了hh，还是攒了点面经，把最近面到的美团啊，百度啊，字节啊之类的全发出来，说实话，我算半个从业者，我在5月份的时候我说过，大模型火不了多久，agent也是。这互联网的东西都是有潮汐的，有涨潮的时候自然有退潮的时候，搞金融的和币圈的估计尤其感受深刻，似那三角洲啊，哈基米音乐和Labubu一样，发了烧的人总会退烧的。偏执于发烧的人总会被烧死的，所以啊，保持清醒，保持冷静，在今后几十年里都是受用的。然后再打个广告吧，我的学习路线已经完成升级了，现在是3.0版本，大伙苦于没有学习资料可以来看看。好了，说说正事：美团：先问了问情况，比赛怎么打的，整体名次怎么样，然...

📍面试公司：抖音💻面试岗位：大模型算法❓面试问题：1. 拷打实习，问了很多很详细的数据和做强化学习的motivation2. 八股拷打（好久没看基础机器学习了都忘了）介绍一下优化器的发展现在大模型的优化器是什么ln和bn的区别encoder-only和decoder-only区别以及应用场景qkv具体是什么为什么是多头注意力上下文长度是什么，有什么作用lora和全参区别欠拟合和过拟合具体要怎么办3. 手撕一个复杂度o(1)的插入删除和随机等概率返回（最近怎么遇不到hot100了）🙌面试感想：面试官人很好业务也很好玩，可惜了我手撕写了好久好久还磕磕巴巴

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...