大模型基础架构岗面经（二）

  1. 是否了解萃取技术，偏特化全特化（为什么乱入了模版编程）
  2. 模型的并行策略有什么，策略的选择是如何确定的，如何排序并行策略组
  • 你对于流水线并行的理解是什么
  • 对于数据并行的理解
  1. 解决显存不够的方法有哪些，对显存优化的选择有什么看法
  2. 什么是 scale law
  3. deepspeed的特点是什么？各个zero stage都有什么用？
  4. 对于长文本的训练，有什么解决优化方案
  5. 请介绍一下 transformer 的结构
  6. 没有手撕，美滋滋
全部评论
m
1 回复 分享
发布于 2024-08-23 23:57 黑龙江
哪家公司呀
点赞 回复 分享
发布于 2024-08-29 15:58 北京

相关推荐

06-17 16:58
上海交通大学 机械工程师
点赞 评论 收藏
分享
06-17 14:07
已编辑
门头沟学院 产品经理
点赞 评论 收藏
分享
05-23 19:02
吉林大学 Java
点赞 评论 收藏
分享
04-28 17:27
已编辑
SHEIN希音_数据库与存储部门_后端开发(实习员工)
点赞 评论 收藏
分享
06-18 18:23
成都大学 Java
点赞 评论 收藏
分享
评论
1
15
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 你找实习最大的坎坷是什么 #
18400次浏览 204人参与
# 研究所笔面经互助 #
71010次浏览 456人参与
# 我的职场心眼子段位 #
14517次浏览 438人参与
# 打工人的工作餐日常 #
43101次浏览 347人参与
# 实习最想跑路的瞬间 #
15127次浏览 122人参与
# 机械人，你被简历秒挂的企业有哪些？ #
40689次浏览 273人参与
# 90后北漂现状 #
23898次浏览 195人参与
# 你的工资什么时候发？ #
28705次浏览 214人参与
# 我的求职精神状态 #
85283次浏览 1024人参与
# 春招别灰心，我们一人来一句鼓励 #
112693次浏览 1291人参与
# 当你面对裁员会如何？ #
267811次浏览 2386人参与
# 大疆今年的机械笔试难吗？ #
40867次浏览 449人参与
# 职场破防瞬间 #
240649次浏览 2229人参与
# 华为海思工作体验 #
22824次浏览 109人参与
# 不考虑薪资和职业，你最想做什么工作呢？ #
88235次浏览 657人参与
# 妈妈治愈了你哪些脆皮时刻 #
26829次浏览 295人参与
# 材料进Fab厂真的劝退吗？ #
41040次浏览 179人参与
# 嵌入式岗知多少 #
43104次浏览 457人参与
# 我在牛客求捞 #
76831次浏览 279人参与
# 能让你振作起来的一句话 #
48445次浏览 372人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务