pdd算法面经

1. 先做个自我介绍吧,可以结合你之前的工作经历聊聊。

2. 你对 SFT(监督微调)中的 scaling law 有了解吗?在实际训练中,你遇到过哪些比较大的困难?

3. 在模型训练时,如果发现 advantage 或者 loss 突然变成 0,一般可能是什么原因导致的?

4. 在构建 AI Agent 时,它的记忆(Memory)机制通常是怎么设计的?

5. 当模型出现 bad case 时,你一般会怎么分析?后续会采取哪些措施来改进?

6. 如果需要为特定领域的文本训练一套 Embedding,你会怎么做?

7. 聊聊你实习时团队的组成和分工吧,大家是怎么协作的?

8. 你对大模型分布式训练的底层了解多少?比如数据并行(DP)、张量并行(TP)这些,看过 Megatron 这类框架的源码吗?

9. 核心代码模式算法题:二维数组中的查找

全部评论

相关推荐

一、少量八股1.介绍下self-attention,计算其时间复杂度。2.为什么要用multi-head attention?3.kv cache是什么?它为什么能极大地提升推理速度?4.PPO的clip机制?在线强化学习和离线强化学习有什么区别?RLHF是哪一种?5.为什么要用reference model?为了解决什么问题?二、项目深挖1.如何让多个agent协同工作的?举个具体的协同机制例子。2.如果一个agent误判导致策略冲突,如何处理?3.你们有没有用到类似AutoGen或LangChain的框架?为什么选这个框架?4.你是怎么设计agent的记忆系统?5.长期记忆如何存储?如果历史记录量非常大,怎么优化查询效率?6.有没有做记忆衰退,避免旧数据干扰新任务?7.你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的?8.你简历里的人机协作流程,具体是什么意思?怎么设计人工干预与agent自动处理的平衡?9.human feedback是怎么被agent消化吸收的?有没有用rl进行策略更新?三、业务理解1.有没有做过模型压缩?比如在车载端或低端设备上的推理加速?2.如果量化后理解能力下降怎么办?怎么做精度补偿?3.你怎么处理响应速度与推理精度之间的tradeoff?是先召回再精排,还是单次生成?4.如果要做电商agent,你会选择哪些模态的信息作为输入?比如文本评论、图像、视频、购买记录?5.有没有做过A/B测试?
查看19道真题和解析
点赞 评论 收藏
分享
评论
1
8
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务