26届秋招｜字节大模型算法岗面经

1、项目介绍2、讲述论文内容和细节3、对于模型训练过程中，如果出现样本标签数据分布极其不均衡，通常会采取什么方法来解决问题4、transformer的感受野encoder中是可以看到所有的token的，你认为感受野越大越好还是越小越好5、位置编码:sin cos，正余弦，bert可学习位置编码，rope相比于正余弦编码的优势6、欠拟合“和过拟合定义，通常如何解决?7、transformer的位置编码的基底是10000为什么设置100008、手撕:岛屿的数量

1.八股：XGBoost 如何计算特征重要性？Gini 系数在树模型中代表什么？它和信息增益的区别在哪？2.八股：Decoder-only 模型在推理时，预测第 i+1 个 token 时，输入用的是第 i 个 token 的 one-hot 还是概率分布？为什么？3.八股：KV Cache 的空间复杂度是多少？如何估算一个 7B 模型在 batch=1、seq_len=2048 下的显存占用？4.八股：AdamW 和 Adam 的核心区别是什么？Adam 相比 SGD 引入了哪些优化机制？Adam 全称是什么？5.项目：你们验证集的类别分布是否和线上一致？如何保证标注数据的高质量（比如通过交叉校验 or 专家审核）？6.项目：在当前 RAG 架构下，如果引入 Few-shot Prompting，为什么能提升输出质量？和微调相比各自适用场景是什么？7.项目：FAISS 是如何加速向量检索的？你用的是 IVF 还是 HNSW？索引构建时 nlist/nprobe 怎么调？8.手撕：最长回文子串（LeetCode 5）

1.项目介绍2.在参数高效微调中，为什么优先微调 Attention 层的 Q/K/V/O，而不是 FFN 层？3.RAG 和 GraphRAG 在处理多跳推理时的根本？4.RAG 的整体流程5.GraphRAG 系统整体流程6.RoPE 为什么能实现相对位置编码？7.Transformer 中因果注意力和双向注意力的区别8.手撕代码题：最长连续递增子序列（LeetCode 674）

（1）腾讯base北京，cdg广告多模态算法，偏广告aigc，不算是cdg很核心的业务吧。强度10-9-5。薪资n*15+签股腾讯双休应该会相对wlb些，好跳槽。但第二年没签字费总包会比较低。（2）拼多多base上海，temu搜广推，强度10-10.5-6。薪资(n+10)*18。总包比腾讯高20个。pdd感觉薪资诚意很足，一年两次调薪涨薪较快。并且拼多多上级决策下级执行的模式，精神内耗应该能小点。缺点是工时长单休，有竞业。有没有pdd过来人能给点建议，有必要为了高base选择pdd吗？选择pdd后好跳槽吗？