蚂蚁大模型算法校招一面 50min

1.八股:介绍几种Attention(MHA,MQA,GQA)的区别
2.八股:分别讲一下Dense模型和MoE模型以及二者的区别
3.八股:讲一下MoE的路由机制是如何做的?
4.项目:介绍RAG项目,讲一下RAG项目的亮点
5.项目:如果召回的答案不是想要的,该怎么处理?
6.项目:讲一下BM25算法原理
7.项目:是否做过意图识别?如果要做意图识别,可以怎么实现?
8.项目:微调项目是如何模型选型
9.项目:如何做微调的?直接用 PEFT 库,还是用LLama Factory做的?
10.项目:讲一下DPO, PPO, GRPO的原理和区别,写一下DPO loss函数
11.代码题:lc15 三数之和
全部评论
如果微调是用llamafactory会减分吗
点赞 回复 分享
发布于 2025-12-25 16:28 浙江

相关推荐

给我面没招了,感觉自己好菜、面试很难,还是要多多练习1.项目拷打2.你的知识库数据是如何清洗和构造的?如果数据质量参差不齐会对 RAG 系统产生哪些影响?3.文档切分策略是如何设计的?chunk size 和 overlap 会如何影响召回质量和生成效果?4.如果用户的问题在知识库中确实存在,但系统经常没有召回正确文档,你会如何排查?5.如果检索到的文档是正确的,但模型最终生成的答案仍然是错误的,你会如何定位问题?6.实际系统中,如果召回结果经常语义相似但事实不相关,你会如何优化检索模块?7.如果一个问题需要跨多个文档的信息才能回答,你的 RAG 系统如何处理这种情况?8.在 RAG 系统中如何判断问题出在检索模块还是生成模块?9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。10.FFN 层为什么采用“先升维再降维”的结构,这种设计对模型表达能力有什么作用?11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异?12.为什么推理阶段 KV Cache 只缓存 K 和 V,而不缓存 Q?13.RoPE 的核心原理是什么,它在长上下文场景下会遇到什么问题?14.instruction tuning 中多轮对话数据训练时,loss mask 应该如何设计?15.如果 SFT 之后模型在特定任务上能力增强,但通用能力明显下降,你会如何解决?16.LoRA 的低秩分解为什么能够逼近全参数微调的效果?17.如果 LoRA 的 rank 设置不合理,在模型表现上会出现什么现象?18.DPO 训练后模型输出明显变长,在实际系统中你会如何处理?19.如果对齐之后模型变得过于保守,经常拒绝回答,你会如何调整训练策略?20.大模型出现复读机现象通常由哪些因素导致?
点赞 评论 收藏
分享
评论
2
5
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务