华为AI 实习面经 攒人品

被横向挂了,希望发出来对大家有帮助!
1. 部署一个模型以及推理一个模型分别用到的参数量怎么估算
2. 模型prefill和decoding的区别了解吗?KV cache的大小是多少,怎么算
3. Deepspeed框架中zero 1,2,3的区别是什么?分别优化了什么
4. 了解Deepspeed的原理吗?假设对矩阵A×B这个运算,给4张卡,简述是如何分配矩阵A,B参数并在显卡中进行交互来达到节省显存的效果的
5. 模型中的一些超参数了解吗?Temperature的数学原理是什么?Temperature,Top-k,Top-p三个参数作用的顺序是什么?
6. 了解softmax函数吗?
7. 了解过通信算子吗?
全部评论
请问大佬这是投的ai infra的训推方向吗?
点赞 回复 分享
发布于 04-03 16:40 俄罗斯

相关推荐

给我面没招了,感觉自己好菜、面试很难,还是要多多练习1.项目拷打2.你的知识库数据是如何清洗和构造的?如果数据质量参差不齐会对 RAG 系统产生哪些影响?3.文档切分策略是如何设计的?chunk size 和 overlap 会如何影响召回质量和生成效果?4.如果用户的问题在知识库中确实存在,但系统经常没有召回正确文档,你会如何排查?5.如果检索到的文档是正确的,但模型最终生成的答案仍然是错误的,你会如何定位问题?6.实际系统中,如果召回结果经常语义相似但事实不相关,你会如何优化检索模块?7.如果一个问题需要跨多个文档的信息才能回答,你的 RAG 系统如何处理这种情况?8.在 RAG 系统中如何判断问题出在检索模块还是生成模块?9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。10.FFN 层为什么采用“先升维再降维”的结构,这种设计对模型表达能力有什么作用?11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异?12.为什么推理阶段 KV Cache 只缓存 K 和 V,而不缓存 Q?13.RoPE 的核心原理是什么,它在长上下文场景下会遇到什么问题?14.instruction tuning 中多轮对话数据训练时,loss mask 应该如何设计?15.如果 SFT 之后模型在特定任务上能力增强,但通用能力明显下降,你会如何解决?16.LoRA 的低秩分解为什么能够逼近全参数微调的效果?17.如果 LoRA 的 rank 设置不合理,在模型表现上会出现什么现象?18.DPO 训练后模型输出明显变长,在实际系统中你会如何处理?19.如果对齐之后模型变得过于保守,经常拒绝回答,你会如何调整训练策略?20.大模型出现复读机现象通常由哪些因素导致?
点赞 评论 收藏
分享
评论
1
4
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务