大模型基础架构岗面经

  1. moe和dense模型的区别,各自的优缺点 a. 参数量,计算量,训练效果,如何选择
  2. deepspeed原理,你是否可以从理论上对 ds 的 stage3 阶段的性能进行分析
  3. 混合并行策略是否了解,介绍一下 TP,PP,DP 的使用场景
  4. 介绍一下混合精度训练的原理和优势 ● 追问量化技术是否了解
  5. 是否了解 Hopper 架构的新特性,对 flash-attention3 是否了解,两者的结合如何
  6. 介绍一下 SM,SP,warp 相关概念和关系(感觉想问 warp-group...
  7. 力扣手撕:岛屿数量
  8. 未来发展方向,对 LLM 行业的态度及意向
全部评论
感谢分享
1 回复 分享
发布于 2024-08-18 23:31 黑龙江
是不是太大了
点赞 回复 分享
发布于 02-19 20:18 上海
请问是哪家公司呀?
点赞 回复 分享
发布于 2024-09-09 02:23 上海

相关推荐

今天 10:39
门头沟学院 Java
点赞 评论 收藏
分享
门口唉提是地铁杀:之前b站被一个游戏demo深深的吸引了。看up主页发现是个初创公司,而且还在招人,也是一天60。二面的时候要我做一个登录验证和传输文件两个微服务,做完要我推到github仓库,还要我加上jaeger和一堆运维工具做性能测试并且面试的时候投屏演示。我傻乎乎的做完以后人家跟我说一句现在暂时不招人,1分钱没拿到全是白干
你的秋招第一场笔试是哪家
点赞 评论 收藏
分享
Twilight_m...:经典我朋友XXXX起手,这是那种经典的不知道目前行情搁那儿胡编乱造瞎指导的中年人,不用理这种**
点赞 评论 收藏
分享
评论
8
53
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务