1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的

1.为什么用责任链模式，有哪些好处, 项目中有没有其他的设计模式？2.mysql 有那些索引？你觉得 innodb 索引为什么用 b+树 而不是红黑树，其他的引擎的索引有了解吗？ 举一个你项目中遇到的使用组合索引的例子，为什么选择这些字段？建立索引的时候选取字段有哪些要注意的？3.消息幂等组件库怎么做的？ 为什么用消息队列？ 除了 rocketmq 其他的有了解吗 ？ 现在有这么一个场景，你刚才讲的本地消息表的 消息 是存在 redis 的， 如果突发流量打垮服务器怎么办，说一个你认为的优化方案？ai 项目：1.为什么做这个项目？你考虑的点在哪里？对自己使用的技术怎么样去了解的，比如向量数据库等（这里自己提的）2.RAG 流程3.embedding 之前的向量化怎么做的有没有了解？项目里面openai 的这个模型的向量化怎么做的（后面这个自己补充的）八股： jvm 的逻辑分区了解过吗？经历过怎么样的变化？g1 和 cms 的区别 ？ 堆区详细的划分知道吗？手撕： 二叉树层序遍历 10 min

1. 实习介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如PagedAttention）来解决KV Cache的内存问题，从而提升推理效率的？6. 我们有一个基础模型，但它不太会“听人话”。如果想把它训练成一个能很好遵循指令的聊天助手，通常有几步？能简单说说SFT（监督微调）和基于人类反馈的对齐（比如PPO/DPO）分别是在解决什么问题吗？7. 假设我们有一个效果很好的70B大模型，但因为太大太慢，没法直接上线。现在需要你把它“变小变快”。你会考虑用哪些方法（比如剪枝、量化）？各自有什么优缺点？8. 相比于让大模型直接回答问题，现在很流行的RAG（检索增强生成）方案，它最大的好处是什么？主要解决了什么痛点？9. 我们的RAG系统上线后，发现有时候还是会“胡说八道”，或者答非所问。如果让你去排查，你会从哪些方面入手？（比如是检索模块没找对，还是生成模块没理解好？）10. 核心代码模式算法题：二叉树的中序遍历11. 反问

实习介绍——5min项目相关细节提问——5min1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash Attention 的原理，矩阵 tiling 的过程说细一点，最好把 shape 也讲清楚。手撕算法：经典接雨水+最长上升子序列

实习介绍 八股：1. 大模型预测 token 的损失是怎么算的？有哪几种常见的损失函数？2. 讲讲大模型的思维链技术？3. 聊聊 Transformer？它有啥优势？位置编码是咋做的，有啥改进？ROPE 是啥？Transformer 是怎么把文本转成 token 的？4. Lora 微调八股：矩阵 A, B 怎么初始化？为啥 B 要初始化成 0，A 不行吗？啥是矩阵的秩？5. Bert 和 GPT 有啥区别？大模型时代，小模型还有用吗？6. MHA 是啥？有啥改进？讲讲 DeepSeek 的 MLA？7. MOE 一般加在哪？从训练和推理的角度看，MOE 有啥好处？8. 你设计提示词时，一般遵循啥范式？算法题：二叉树的层序遍历。（用队列）

1. Qwen 与传统的Transformer模型相比，有什么结构上的改进？2. RMSNorm相较于LayerNorm有什么优势？公式是什么？3. SwiGLU的公式是什么？4. GRPO的公式是什么，这样做为什么更好？5. KL散度的公式是什么，为什么要用KL散度？6. LLM的损失函数是什么？给你一个10w的词表，计算出事的损失值7. GRPO为什么要做clip，直接用SFT后的模型还会不稳定吗？优势度可以怎样改进？8. 为什么你要用GRPO？GPRO结果比之前好多少？显存开销多大？训练一个Step需要多久？奖励函数如何设置的，为什么？有没有想过为什么一开始Reward出现大幅度震荡？GRPO是否一定有效，还有什么解决方法？9. Post-Training 的工作机制，为什么要做三阶段训练？什么情况下应该用GRPO？为什么DeepSeek用了GRPO？如何从V3到R1？10. 微调是如何进行微调的？为什么LoRA能够work？除了LoRA外，还了解哪些微调方法？11. 后训练用的哪个框架？你用过什么框架？如何使用deepspeed进行分布式训练？脚本是你自己写的吗？12. 知道什么Linux命令？13. 用过C++，Java吗？平时用什么多?14. 如何去评价你工作的产出和质量15. FLUX的工作原理，LoRA在这个地方起到了什么作用？

1．自我介绍，过实习，讲论文，根据表述实时跟进询问交流2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处4．有没有全量微调过5．推导一下神经网络反向传播的过程6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7．一道排列组合的概率题8．平常有用过 RLHF 吗，简单介绍一下9. 开放题：对目前大模型的发展有什么看法10.代码：多头自注意力

1. 大模型预测 token 的损失是怎么算的？有哪几种常见的损失函数？2. 讲讲大模型的思维链技术？3. 聊聊 Transformer？它有啥优势？位置编码是咋做的，有啥改进？ROPE 是啥？Transformer 是怎么把文本转成 token 的？4. Lora 微调八股：矩阵 A, B 怎么初始化？为啥 B 要初始化成 0，A 不行吗？啥是矩阵的秩？5. Bert 和 GPT 有啥区别？大模型时代，小模型还有用吗？6. MHA 是啥？有啥改进？讲讲 DeepSeek 的 MLA？7. MOE 一般加在哪？从训练和推理的角度看，MOE 有啥好处？8. 你设计提示词时，一般遵循啥范式？算法题：二叉树的层序遍历

1．自我介绍，过实习和论文2．知道哪些强化学习算法，除了 PPO和 DPO 这些呢3. 知道 LoRA 的原理吗， A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗4．除了 DeepSpeed ，还用过其他的什么优化方法吗5．ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别6．讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗7．当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存8. 在微调 Qwen 的时候，数据是怎么构造的9.代码：无重复字符的最长子串

1.项目介绍2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素

1.如果训练出来的模型在某一类任务上表现比较差，如何解决这个问题？2.如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。3.有没有尝试过动态prompt，训练数据如何构造，如何保证policy正确？4.如果想把判别式任务转化成生成式任务，学术界有哪些常用方法，哪一种效果比较好有对比过吗？5.数据的难度分层是如何做的，为什么没使用困惑度？6.如何确保分层的准确性，用大模型进行分层为什么没有尝试更大的模型？7.做CPT时的数据量级，数据处理的pipeline？8.CPT的数据配比是什么样的，有没有考虑CPT后通用能力的退化问题？如何检验CPT后模型的通用能力？手撕：1、寻找重复数（转化成环形链表找入口来求解）2、手撕对比学习的loss计算3、手撕多头注意力

1.你这个xx实习的项目能展开讲讲吗？你主要负责哪块？为什么是你来做这块？2.自动化评估体系这里能具体说说怎么评的吗？哪些维度3. 多维度自动化评估体系，那每一个维度是怎么做的？比如你说的关键词匹配和问答对，这个流程怎么构建的4.图表的准确性你怎么评估的？怎么从markdown和HTML 里提取对应图表并比对的？有没有一些异常case举个例子？5.用了playwright去截图，那遇到报错或者渲染失败怎么办6不同设备模块比如交换机、服务器，它们的字段特征都不一样，那你怎么做统一化训练7.那你这个知识图谱底层是用什么数据结构存的8.用的是PAI吗？那有没有对比过比如说 igraph或者图数据库像GraphScope这些之间有啥区别9有没有用过一些大模型的推理？比如说用千问做辅助根因预测10你们这套系统的准确率和召回率大概是多少，那比如说没有到90%，你们是认为这个指标是OK的吗11所以它是系统推理出根因之后还需要人工check，然后才能执行故障预案，有没有哪一部分流程是完全自动化的12你们平台现在接的主要是底层设备指标，那有没有接入一些业务指标，比如订单失败率转化率这类的业务数据13我有个疑问就接入业务指标的话你需要知道整个平台的服务拓扑，那你们这个平台是怎么接入业务侧拓扑的？是自己做的吗？还是中台团队负责15.那你既然用过图数据库，你知道它底层的存储结构是怎样的吗？比如它是怎么组织边和节点的16.我们现在是两阶段推荐架构：第一阶段召回用的是embedding点积召回，第二阶段是MLP跟transformer做多目标打分。那你觉得在我们这么大规模的数据量下，如果要做real-time re-ranking，你会在架构上怎么做trade-off？怎么压低latency17.我们现在在做embedding精度提升也试过加cross tower、attention pooling 甚至meta learning，但发现一旦模型重了，就难以部署到线上实时系统。那你觉得在embedding learning的这个模块里，有哪些方案能在不严重影响线上性能的情况下提升语义表示能力

1、介绍自己的中厂实习2、一面的部分实习问题这里也问了。3、有没有试过外挂数据库来解决线上业务数据分布更新较快的问题，4、模型选型问题，为什么选qwen3-8b，如何估算模型开销。5、最多做过几卡的模型训练?对deepspeed和Megatron有多少了解?6、接触过哪些推理加速的方法。(vllm的page-attention, kv cache, prefix cachemla，flash-attention直接安排一套)7、一个他们组里面的一个具体场景题。8、手撕k个一组反转链表，并要求最后不足k个的也反转。

1．项目介绍，问实习和论文2．实习微调过Qwen2，你说说Qwen2的模型结构吧，Qwen2相比Qwen1做了哪些改进3．为什么现在 Decoder - only 成为大模型的主流架构4．了解过哪些模型训练推理优化的方法5．为什么有了 SFT 之后还需要 RLHF6 .PPO 和 DPO 的主要思想是什么7．代码：23．合并 K 个升序链表

1．实习介绍2．选一个做的好的实习或者论文讲一下3．了解 RAG 吗， GraphRAG 的做法4．讲一下 FlashAttention 的思想和做法5．讲一下 RoPE ,目前常用的位置编码还有哪些， Ro PE 有什么优点6．场景题：如果要提升大模型的多轮对话能力，你有哪些可以改进的点7．代码题：56．合并区间

1.你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2.构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多3.用户并发中怎么做隔离？你是如何保证线程安全的？4.微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。5.DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？6.你说你服务部署在 vLLM 上，为何选择它？KV-cache 如何帮助推理加速？你自己做过哪些优化？7.假如需要支持 Streaming 输出，但当前服务延迟又超标，你会怎么折中设计？8.多轮对话上下文状态管理是如何做的？如何在高并发场景下保证一致性？9.你做的 Agent 使用了多少个外部工具，在调用链条上如何保障故障容错和超时机制？10.有没有做过工具调用失败后的feedback策略设计？11.训练过程中数据来自用户行为日志，你是如何从这些数据中抽取训练对话的？有没有做过归一化或事件抽象？12.有没有了解过带有时间窗口/偏移限制的对话系统？模型怎么“理解时间”？13.你觉得 Agent 哪些模块最容易在真实业务中出问题？你会如何监控和定位的？

1.项目拷打。2.未曝光出去的样本作为负样本有做过实验吗？3.为什么要进行多目标联合建模，解决了什么问题。4.为什么不单独预测 cvr , ctr 的引入为 cvr 带来了什么信息。5.如果出现跷跷板问题怎么解决？6.知道 PLE 原理吗？7.分层召回的结构是什么？8.介绍 groupembedding 。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

题目1：使用线性回归预测手机售价题目2：模型量化最小误差

1. 自我介绍环节：简要介绍个人背景与技能。2. 经历阐述：介绍实习经历，并自选一篇论文进行讲解。3. 项目细节追问（具体内容略）：针对项目展开深入提问。4. 大模型生成评测：大模型生成内容的评测方式有哪些，具体如何操作？5. RAG技术短板：RAG存在哪些缺陷？6. 大模型输出一致性：如何确保大模型输出内容的一致性？7. DeepSeek R1详解：讲解DeepSeek R1的训练流程和基本原理。8. 强化学习算法辨析：DPO、PPO、GROP之间的区别是什么？9. SFT与强化学习对比：SFT和强化学习各自有什么优缺点，分别适用于什么场景？10. 提示工程方法：提示工程的主要方法有哪些？11. 大模型幻觉问题：阐述大模型的幻觉现象及抑制方法。12. 多智能体协同：如何保证多智能体协同的效果？