日常实习-米哈游大模型算法面经分享

给我面没招了,发点面经攒攒人品~
1.LLM 常用的结构是什么?
2.说一下 Transformer 的整体结构
3.目前主流大模型最常用的位置编码是什么?
4.[代码题]写一下多头注意力机制的数学公式A代码/算法实现题,需现场手写
5. 公式中为什么要除以√ d _ k ?其对梯度消失或梯度爆炸有什么影响?
6. 在 Transformer 的 Encoder 和 Decoder 中,哪些部分是可以并行计算的,哪些不可以?
7. 除了 LoRA ,你还了解哪些微调方法?
8. 大模型训练通常使用什么损失函数
9. 在机器学习基础中,二分类问题、多分类问题以及回归问题分别使用什么损失函数?
10. 你了解哪些优化算法
11. 模型训练中出现过拟合的常用解决方案有哪些?
12. Dropout 在训练阶段和预测阶段的处理方式是否一致?为什么要这样做?
13. 大模型中的"复读机问题"重复生成是什么原因导致的?如何从解码策略或训练层面解决?
14. 幻觉问题产生的原因是什么?目前常用的工程解决方案有哪些?
全部评论
优化算法指的是什么啊
点赞 回复 分享
发布于 05-05 00:48 上海
问这么多八股干嘛呀
点赞 回复 分享
发布于 04-23 17:38 北京
感觉问的还行啊
点赞 回复 分享
发布于 04-19 22:43 北京
可以的,看着问的还行
点赞 回复 分享
发布于 04-16 19:03 北京

相关推荐

查看24道真题和解析
点赞 评论 收藏
分享
05-06 17:25
门头沟学院 Java
给我面没招了,发点面经攒攒人品~1.实习拷打2.项目背景下,智能体的工作流链路是怎么实现的3.有用智能体框架什么吗,还是代码控制4.智能体拓展性怎么样5.图文检索怎么做的;语义库是怎么构建的6.ai开发过程中,调用工具,记忆管理怎么实现的7.openclaw使用的体验,跟做的agent有什么区别8.有用过它做过大的工作,管理知识,或者自媒体相关的吗9.to B方向的 sass软件朝着什么方向去演进传统的工作方式,重构之类的,先去用10.python 还是 java,有用过什么ai coding工具吗,cursor claude code11.拿到项目到ai工具到交付,怎么验收,哪些环节需要人注意12.有意识给ai工具优质上下文吗13.ai生成代码很好,但它是不负责的,怎么进行一个代码的review;功能完备,安全,性能要不要考虑14.有用过ai工具自动化测试,做端到端自动化测试15.java掌握程度:hashmap集合里面有用到集合吗16.平时有用到锁吗17.用到可重入锁18.两个线程同时对arrayList同时添加,出现什么问题19.并发问题,比如钱,库存,订单,怎么实现20.java异常:编译期异常,运行时异常21.两种会倾向于抛出哪种异常,22.数据库缓存了解的深吗,怎么保证一致性23.redis实现会话管理,怎么保证redis和数据库中的数据一致 性24.threadlocal管理用户上下文,为撒选择这个上下文管理,线程安全吗25.mysql索引熟悉吗,组合索引,怎么保证查询索引
查看24道真题和解析
点赞 评论 收藏
分享
评论
2
8
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务