字节大模型二面面经

1. 构建的新数据集引起其他领域能力下来应该怎么办2. 介绍transformer结构3. 了解clip/blip吗4. QwenVL和InternVL区别5. lora训练相比全参数训练效果如何，为何要用Lora训练6. 全参数训练占显存主要在什么地方7. 降低显存占用的方法：分布式训练8. 对于大模型落地某个具体任务，优化有哪些方向9. 多模态大模型训练时是只训LLM部分还是和vit图像编码模块一起训练10. python里面做大批图像的预处理是多线程还是多进程做11. 有哪些降低KV cache的技术代码1. 一个有序字符串列表，其中插入了稀疏的空字符串，现给定一个新字符串，以O(logn)查询到字符串索引，没有则返回-12. 实现多头注意力机制（torch或者numpy）3. 堆排序过程

1️⃣一面 1.自我介绍，问实习2.介绍SFT3.transformer详细介绍4.介绍解码采样策略5.Flash Attention介绍6.手撕multiheadattention7.字符串解码2️⃣二面1.过项目2.推荐模型了解哪些？3.圆上三个点构成三角形的概率📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📍面试公司：顺丰🕐面试时间：9.29💻面试岗位：大模型 一面❓面试问题：1.自我介绍2.实习-微调上下文长度是多少？3.实习-微调数据集多少？4.实习-用的什么卡训练？什么框架，训练多长时间？5.实习-显存优化框架是什么？6.实习-deepseed zero用的什么？zero 1 2 3 有什么区别，介绍一下7.如果使用zero2，全参微调8B模型，精度BF16，占用多少显存？模型占用多少，梯度占用多少，优化器占用多少（这一块答得挺差的）8.实习-PPO训练使用几张卡9.实习-PPO有多个模型，如何加载的，SFT占用了几张卡？（这一块答得更差）10.实习-PPO训练框架？11.实习-为什么不使用RAG？使用Agent的框架吗？12.讲一下vllm的prefix cache13.vllm 并发量很高的时候，什么机制去解决？（就是一次解决不完，不会）14.讲一下vllm和SGlang的结构化输出（不会）反问：1.业务：问答机器人，把很多很多的机器人整合为一个，涉及到多路查询、query重写、实例抽取，微调和langchain。还有一些多模型搜索的业务等2.技术栈：模型微调+agent🙌面试感想：训练问的好多，我不会

TimeLine：9.8 一面、9.10 二面、9.15 三面、9.26 四面、10.9 HR面、10.15 意向书一面1. 聊了聊每一段实习经历，纯聊，也没有技术问题，就是单纯面试官听我讲2. Java 集合为什么不能一边遍历一遍删除3. 遍历一个 Java 集合有哪几种方式4. Java 内存区域，哪些区域会发生 OOM5. Java 堆怎么发生 OOM，描述一下写一个什么样的代码来触发6. Java 方法区怎么发生 OOM，描述一下写一个什么样的代码来触发7. 如果我想统计分钟级别的 uv，我可以怎么实现8. Spring 有事务的注解，这个注解是怎么实现的呢9. 代码题：实现一个定时任务调度器，类似写一个线程池，然后调度器里面有优先级和触发时间，写两个类，一个 Task 类，一个 Scheduler 类。二面1. 聊了聊每一段实习经历2. 大模型方面有什么了解的：RAG、微调、Agent3. 如果让你设计一个 Agent，它有哪些组成部分4. volatile5. MySQL6. CAP理论、BASE 理论7. Redis 为什么这么快8. 了解哪些设计模式，聊一聊9. 这里是面试官自己出了一道题，大概是写一个拓扑排序，实现一下不同 job 之间的先后关系三面基本就是闲聊，然后问了问意向，以及一些生活方面问题四面本来以为这一面是 HR 面，结果是更高层 TL 的面试，这个老板管算法和工程的所有团队，主要也是闲聊，然后问了问自己的一些经历HR面闲聊，仔细讲一下每一段实习，然后每一段实习学到了什么，每家公司有什么不一样的感受