字节火山引擎秋招AI后端研发一面

给我面没招了，发点面经攒攒人品～1* 项目拷打2* 项目的数据来源是什么？你是如何确定优化目标的？3* 比如数据从 100 条扩充到 1.2 万条，是否全通过自动化生成？生成的样本具体是什么样的？举个例子说明一下生成前后的对比4* 怎么保证自动化生成数据的正确性呢5* 在通过调整参数直到模型回答正确为止的过程中，是否意味着生成的CoT中存在错误逻辑？6* 经过数据清洗后，最终用于SFT的有效数据量是多少？7* 在做微调时，除了 LoRA 是否对比过其他的微调算法8* 你是如何评价微调效果的？测试集的比例是多少？微调前后的准确率分别是多少？原有的模型性能保留了多少？9* LLM常用的结构是什么？10* 说一下Transformer 的整体结构11* 目前主流大模型最常用的位置编码是什么？。12* 写一下多头注意力机制的数学公式。13* 公式中为什么要除以 \sqrt{d_k}？其对梯度消失或梯度爆炸有什么影响？14* 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？15* 除了 LoRA，你还了解哪些微调方法？16* 大模型训练通常使用什么损失函数17* 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？18* 你了解哪些优化算法19* 模型训练中出现过拟合的常用解决方案有哪些？

timeline一面 3.9二面 3.11约3.16二面三面 当天下午约3.18三面hr面 3.18约3.19hr面许愿oc，offer，太想去字节了

发一下问题给大家参考，攒攒人品！1. 实习拷打2. 项目深挖3.推荐业务目前的优化目标是什么？4.多场景建模具体指什么？不同场景下用户行为有什么差异？5.这些场景是分开建模还是统一建模？特征或网络层面有没有做场景区分？6.如果特征落盘时刻上下文发生变化，是否会造成线上线下不一致？7.能描述一下从用户请求、模型训练到在线serving的完整流程吗？样本落盘机制是怎样的？8.离在线链路是分离的还是统一的？流式样本和离线样本分别如何使用？9.介绍一下RankMixer的结构原理。它与MLP、Transformer或DIN相比，核心区别和优势是什么？10.如果拓展token数量，具体如何实现？为什么token机制能实现特征的自动深度交叉？11.场景特征是直接拼接embedding，还是有独立的场景block？独立使用还是全局共享？12.如何判定模型优化效果是正向还是负向？评估方式是什么？13.所有场景样本是一起训练还是分开训练？指标是看全局还是分场景？14.超长序列建模的长度是多少？具体实现方案是什么？15.多尺度注意力指的是什么？与全序列原生attention相比有何区别？16.不同时间段的序列输出如何融合？如何平衡每个时期兴趣的权重？有没有自适应机制？

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.论文拷打2.如何确定改进的方向，动机是什么3.问了一下实习做的工作，没细问4.深度学习基础知识，网络怎么初始化5.过拟合6.dropout，推理时dropout需要什么额外处理7.手撕，算sqrt()，要写两种方法，牛顿迭代和二分查找