抖音大模型｜社招3轮面经

✅一面 1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，我觉得只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的✅二面1．自我介绍和过项目，简要问了项目中使用某些方法的动机，以及是否会导致其他的问题2．了解 Transformer 吗，编码器和解码器的注意力有什么区别，在计算注意力中时除以 dk \ sqrt { d _ k }\ sqrt [ d _ k ｝的原因是什么3．后来有哪些比较经典的基于 Transformer 的语言模型， Qwen 相比于原始 Transformer 有哪些结构上的改动，Qwen2又有哪些改进4．了解 RLHF 吗， DPO 和 PPO 有什么区别， Loss 是什么样的，各自的优缺点是什么5．介绍一下 CLIP ，还了解什么其他的对比学习方法6．开放题：了解哪些多模态大模型，目前多模态大模型最的问题是什么7．代码：1143．最长公共子序列二面其实也偏常规，几乎也都是八股问题，但是也考察了一些对模型的理解以及知识面的广度，整体来说比一面的难度大一些✅三面：1．自我介绍，然后详细过了一下项目2．了解哪些大模型和多模态大模型，然后就聊了大模型这一路是怎么发展过来的，Transformer 、 BERT 、 GPT 、 LLaMA 、 Qwen ix ,以及当时的o1推理模型3．平常有尝试过训练过大模型吗，规模小一点的也没关系4．聊天，包括职业规划等等三面比较轻松，面试官说知识点前面两面都考察过了，三面就轻松一些，大概40来分钟吧📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

合肥的一个做数据服务的公司主要问了一些项目之前做QA客服用的切块方法召回策略数据清洗的一些工作方法 去重的时候怎么操作能够减少去去掉非重复数据给一份企业报告怎么构建RAG给大模型让其找到正确章节里面的内容构建RAG的文档分块策略聊了聊市面上的一些大模型厂商 多模态大模型和NLP大模型的区别如何构建Agent或者WorkFolw实现一些自动化闲聊昨天OpenAI开源模型了人工智能未来的发展方向

主要项目，感觉更像是讨论，聊天，保佑我1、介绍你所述的实习的项目中的提升点用链式规避掉DMA切片传输，如何提升%30的时间 （切换效率应该不变，）2、你这传输的时候都是连续的物理内存，但是如果没这么大的连续物理内存怎么办？3、之前接触过PCIe吗4、第二个项目无人机，你参考的瑞芯微官方demo吗5、 你在项目中具体承担的职责，自己完成了哪些工作？6、在整个框架搭建过程中，遇到的最大挑战是什么？7、摄像头内外参数你考虑过动态标定和静态标定吗？【没有】8、标定过程有许多开源算法，了解过里面的原理吗？【没有】9、你用过标定过程会遇到如何跑好的问题，10、Yolo模型你如何优化的11、检测时长50Hz（20ms）能支持多大速度的飞行12你在模型部署中，会有模型优化的技术，你如何考虑的13、你们团队的规模，你负责的部分，是嵌入式部分吗？14、你的优势15、你对我们小鹏了解吗16、反问无手撕

这个岗位不算是嵌入式，应该是和大模型，大数据相关，不过也是软件开发岗，面了80min，大部分都是实习项目还有问了好久的hr相关问题，还算可以，没有特别难（不过也可能是感觉出方向和他们不契合，后面就随意问了）ps：面经写的不多，因为大部分都是项目问题，还有些hr问题可以随意发挥，就没写上1. 怎么去排查问题，然后找到优化方法的2. 有没有团队合作，都是什么角色3. 对中兴的了解4. ioremap的底层实现原理5. 操作系统怎么调度线程的/线程调度策略6. 系统调用的原理7. 最近有看什么嵌入式相关的书籍吗8. 有了解过优先级反转问题吗9. 学习能力执行能力打分10. 用几个词形容自己11. 缺...