阿里大模型算法面经分享

给我面没招了,感觉自己好菜、面试很难,还是要多多练习
1.项目拷打
2.你在去部署或者训练预训练或者后训练的模型时,有没有用过一些比较底层的一些训练的调试的工具,比如说千卡的话很容易就会出NCCL timeout,如果出现 NCCL timeout,一般怎么定位和解决?
3.像那种rl里面的那个MOE之类的那种的优化有去做过吗
4.看您的训练经验比较丰富,而且您上线运行的推理内容之前也进行过一些什么样的优化吗?
5.有没有做过 kernel级别的优化?比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化,介绍一下
6像底层,如果你们在做.kernel fusion,倾向于用什么方式来做
7.有没有哪次你做了 fusion 结果性能反而下降的?原因是什么
8.平时写 CUDA的时候,有没有关注到底层实现细节?比如你刚提到 FA2,那再往下一层,像 Hopper架构里那个 warp specialization是什么,它底层大概是怎么实现的
9.试过用 Agent去生成cuda内核么,怎么去做的
10.如果我把 warp specialization 去掉,只保留 tile 和 shared memory 优化,大概会损失在哪?
11.怎么么判断一个 MoE 模型是真的学到了分工,而不是只是把 dense模型拆开了
12.在 RL + MoE 里,有没有遇到过 reward把 routing学坏的情况?就是模型为了拿 reward,全都走某几个 expert,这种情况你当时是怎么处理的
全部评论
这怎么一个也不会啊
点赞 回复 分享
发布于 03-25 15:29 浙江

相关推荐

发一下问题给大家参考,攒攒人品!1 项目拷打2. 在 Agent 多轮对话任务中,Attention 的局限性具体体现在哪些方面?3. 简要介绍 SFT 的核心流程,以及如何制定数据集的构建策略?4. SFT 之后常见的 Post-Training还有哪些?它们各自的设计目的是什么5. 什么是RAG它提升生成质量的核心原理是什么6.RAG与传统的检索 + 模型生成流程有何不同7.如何构建评估体系来验证一个RAG系统是否真正Work?8.PPO和DPO在对齐阶段的主要区别是什么?9. 在进行DPO训练时,通常有哪些关键的注意事项?是否了解过GRPO10.在Modular Agent中,多步规划是如何实现的?11.针对多个工具的调用链路,你的调度策略是如何设计的12. Agent 评估体系包含哪些核心维度?如何量化衡量Planning能力与Hallucination Rate )?13.在微调Qwen模型时,你是如何确定训练阶段和 Loss Function的?14. Prompt自动推荐模块应用了哪些优化策略?是否尝试过Prompt压缩或Embedding表示的方式?15.假如Agent推理链路包含3个工具且请求频率极高,导致系统整体延迟较高,你会从哪些维度进行优化?17.在记忆系统中,意图识别 承担什么职责?18.Embedding的维度选择(如 1024 维)是基于什么逻辑?为什么不选择更高或更低的维度?19.Qwen-4B的Embedding是如何实现的?其模型框架是否属于 BERT 系列?20.Qwen-34B的Rerank是如何实现的?21.Attention机制中的Q, K, V矩阵具体是如何通过输入变换得到的?22.Attention公式中除以根号d_k的作用是什么?如果不除以它,是否有其他替代方案?23.请详细解释Multi-Head Attention ,并指出它目前存在的主要问题24. 如何解决多头注意力机制计算开销过大的问题25. 什么是 RoPE ?它核心解决了什么问题?26. 在 Memory  系统中,如果输入文本过长,常见的工程处理策略有哪些?
点赞 评论 收藏
分享
评论
点赞
4
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务