字节校招大模型算法一面 攒人品

攒攒人品～ 1. Lora应用于哪些模块？为什么是这两个模块？2. Lora两个矩阵怎么初始化？它们的初始化方式能交换吗？为什么？3. Lora r 怎么设置的？为什么这样设置？4. 残差连接的作用？5. 怎么train一个好的lora？具体超参数怎么设置的怎么调优？为什么不只靠学习率，为什么还需要ahlpa/r？6. top-k，top-p，temperature是怎么实现的？7. Qwen2.5VL做了哪些改进？8. 为什么大模型需要强化学习，比起SFT有什么区别？9. 现在的embedding模型有哪些问题？怎么改进？

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

给我面没招了，发点面经攒攒人品～1. 实习拷打2. 详细问了项目3. 数据集是怎样做扩充的？4. 为什么要SFT后还要使用DPO进行训练？5. 对于难样本是怎么解决的？6. 如何实现Function call的功能？7. 为什么RAG的效果用正确率来表示？8. RAG的文档是怎么划分的？基于什么规则划分？9. RAG召回冗余的数据怎么解决的？10. 有哪些可以优化RAG的方法？11. Decode-only和encoder-only有什么区别？

给我面没招了，发点面经攒攒人品～实习拷打1.LangGraph相对其他开源智能体编排工具的优点是什么?(追问) LangGraph是否存在与其他工具不兼容的问题?如果有，你是如何解决的?2.在现有场景中是否需要用到LangGraph 的状态管理功能?(追问)LangGraph的状态管理功能是否帮助提高了任务的执行效率?可以分享使用经验吗?3.如何理解Long-termMemory的实现方式?(追问)你是否对Long-termMemory在模型中存储有效性进行评估?它在实际项目中的应用表现如何?4.若将电商场景中用户的购买、点击、兴趣等信息设计为长期记忆，有什么想法?(追问)如何确保电商场景中的长期记忆不会过时或冗余?你认为应该如何更新这些记忆?