攒人品：作业帮大模型算法面经

作业帮大模型算法面经

  1. 讲一下kv cache是怎么节省空间的？kv cache的计算流程
  2. kv cache有没有改进空间
  3. 参数怎么调整的？有什么意义？top k/top p/温度参数
  4. 一个大的模型，怎么得到一个小模型？
  5. Tokenizer 训练用了什么模型？
  6. 讲一下 Grouped Query Attention
  7. 讲一下 RoPE旋转位置编码
  8. git操作 如何拉取一个分支的代码到本地
  9. 如何讲一个分支的代码提交远端？
  10. 如果批量的对一批文件做移动操作？
  11. 旋转位置编码可以加强长上下文，如果这个时候输入了一个超过最大长度的句子，该怎么处理？
  12. 如何量化评价模型？
全部评论
学到了大模型的面经
点赞 回复 分享
发布于 昨天 23:22 北京

相关推荐

12-17 14:52
已编辑
门头沟学院 人工智能
大模型训练架构系统。
一般来说训练都需要优化，而优化就是需要优化器，整体训练我们都当作的赛车，模型就是车。优化器：这个优化器从SGD和BGD讲起，SGD：是随机梯度下降，（下降一点点）BGD是基础梯度下降，（全量）实际上都不会单独使用，现在是混合使用，mini-SGD：就是SGD+BGD。然后基于SGD进化出来了，Adam->AdamW。也就是主流优化器，基本上都是用AdamW：这个有两个特点：动量：类似惯性，比如前面几个生成正的，下面一个也就生成正的，自适应步长：自动给频繁更新的参数减速，同样的，冷门的参数会加速，还能显式剥离梯度的权重衰减，解决Transformer的架构容易过拟合的问题。过拟合：学的太好...
机器学习，推理优化，芯片...
点赞 评论 收藏
分享
12-20 08:20
陕西理工大学 算法工程师
点赞 评论 收藏
分享
头像
12-18 18:18
已编辑
百度_高级研发工程师
我等凡骨，拖着一身病，可敢逆天改命？
夜深了，我带着疲惫不堪的面庞和熠熠生辉的双眼，坐在电脑前，提笔却又放下，娇柔婉转，愁肠百结在这一刻体现的淋漓尽致，我该怎么写呢，是写我继续百折不挠的去争去抢，去干去卷？可我真的好累啊。还是写我已经被这人生击碎了梦想，不再百舸争流，也不再百尺竿头，可是我满心不甘。 我怎么呢允许我这一生就如此呢？哪怕最后没有什么所谓的成就，哪怕最后我的理想没有达成，可是我也要我有的态度啊，可是我也不能就此放弃啊，那样，我没法给自己一个交代。 我染上了哪些病？我的病多了，高强度的内卷，肯定让我的身体消耗严重，腰不舒服，经常头痛，要保持运动，不然喘不过气，身体也会不舒服，更重要的事心理上的病，想卷吧，遥遥无期，疲惫不...
工作后，你落下了哪些病根
点赞 评论 收藏
分享
12-02 10:15
陕西理工大学 算法工程师
点赞 评论 收藏
分享
12-12 09:28
已编辑
吉林大学 Java
点赞 评论 收藏
分享
评论
1
1
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 你小心翼翼的闯过多大的祸？ #
3107次浏览 63人参与
# 找不到实习会影响秋招吗 #
1399435次浏览 13633人参与
# 实习没事做是福还是祸？ #
3325次浏览 56人参与
# 重来一次，你会对开始求职的自己说 #
823次浏览 19人参与
# 2025年终总结 #
132543次浏览 2266人参与
# 考研人，我有话说 #
156508次浏览 1211人参与
# 哪些公司笔/面试难度大？ #
7036次浏览 32人参与
# 实习简历求拷打 #
23086次浏览 245人参与
# 携程工作体验 #
18901次浏览 66人参与
# 大厂VS公务员你怎么选 #
69076次浏览 638人参与
# 扒一扒那些奇葩实习经历 #
140067次浏览 1149人参与
# 找不到好工作选择GAP真的丢人吗 #
93637次浏览 1007人参与
# 那些我实习了才知道的事 #
252960次浏览 1784人参与
# 你觉得现在还能进互联网吗？ #
29899次浏览 201人参与
# 非技术投递记录 #
672800次浏览 6820人参与
# 机械求职避坑tips #
81019次浏览 531人参与
# 第一份工作能做外包吗？ #
93978次浏览 599人参与
# 投格力的你，拿到offer了吗？ #
154701次浏览 829人参与
# 作业帮求职进展汇总 #
85248次浏览 559人参与
# 秋招遇到的奇葩面试题 #
101218次浏览 416人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务