大模型应用开发二面 1h 字节

面试很难，还是要多多练习，感觉自己说不明白业务逻辑
1.写一下attention公式(代码实现了下)
2.训练时为什么要mask，推理时也需要吗?两处有什么区别?推理时的sequencelength和训练时一样吗
3.transformer和传统seg2seg模型有什么区别?
4.计算attention时为什么要除以dk，这个dk的含义是?attention计算时还有哪些scale处理?
5.attention中softmax函数作用、公式、为什么有减去最值的处理?换个函数还能这样处理吗?
6.解释数值上溢、下溢问题
7.讲一下prompt书写的经验，如何判断prompt是否达标何改进prompt
8.讲一下SFT，会对哪部分计算loss?为什么?
9.讲一下deepspeed
10.训练用一个7b模型要占用多少显存?不同zero阶段能够节多少显存?
11.训练模型时用了几张卡，有遇到什么异常中断问题吗?
全部评论

相关推荐

昨天 12:29
门头沟学院 Java
27 杭州 元启视界 JAVA 实习面经
1. 简单做个自我介绍。2. 上一份实习为什么不留在那里？二、Java 基础 1. HashMap 在 JDK1.7 升级到 1.8 做过哪些优化？2. 往 HashMap 里 put 一个值的过程是怎样的？3. HashMap 达到临界值时，扩容是怎么扩容的？4. 数组长度扩容两倍，里面的数据会怎么变化？5. JDK1.7 头插法为什么会出现死循环？6. 1.8 为什么改成尾插法？ 三、实习相关1. 为什么不直接存原始文件，一定要做转码？2. 两种方法转码分别有什么优缺点？3. 转码失败率大概多少？你们怎么监控？4. 你修复过多类格式兼容问题，当时是什么问题？5. Excel 内容太多导致 ...
查看21道真题和解析
点赞 评论 收藏
分享
03-06 10:04
北京邮电大学 嵌入式工程师
嵌入式面试必刷题单大揭秘
本篇为收集的技术面的面经以及自己经历的补充共分为两部分第一部分,网络上汇总的面经.第二部分,鄙人亲自经历的面经汇总.（持续更新)所有问题均很重要 排名不代表重要性第一部分：进程与线程基础概念什么是进程？什么是线程？进程和线程有什么区别？为什么线程要共享进程地址空间？线程共享进程的哪些资源？线程不共享哪些资源？进程为什么需要独立地址空间？多进程 / 多线程多进程的优点是什么？多进程的缺点是什么？多线程的优点是什么？多线程的缺点是什么？多进程和多线程的使用场景分别是什么？什么时候使用多进程？什么时候使用多线程？进程通信 IPC什么是 IPC（进程间通信）？Linux 常见的 IPC 方式有哪些？管...
点赞 评论 收藏
分享
02-24 20:09
门头沟学院 软件测试
民办本科春招找测试还有希望嘛，目前写的简历，求指教
牛客52811839...：实习要写出来业务和产出，你这写的像流水账没人看。项目经历也没有，换个极简简历试试
点赞 评论 收藏
分享
03-01 14:07
门头沟学院 前端工程师
点赞 评论 收藏
分享
03-05 21:21
清华大学 Java
点赞 评论 收藏
分享
评论
点赞
3
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 你感受到金三银四了嘛？ #
8986次浏览 123人参与
# 如果给AI员工评绩效，我的答案是…… #
2212次浏览 63人参与
# 今天你投了哪些公司？ #
20635次浏览 526人参与
# 哪一刻你对工作祛魅了？ #
6115次浏览 77人参与
# 春招 / 实习投递，你最焦虑的一件事 #
15789次浏览 388人参与
# 你秋招最后悔的选择 #
85947次浏览 370人参与
# AI时代下，你的岗位要求有什么变化？ #
3024次浏览 66人参与
# 27届求职交流 #
31849次浏览 684人参与
# 找工作，你都让AI帮你做什么？ #
1743次浏览 67人参与
# 刚工作的你，踩过哪些坑？ #
1593次浏览 37人参与
# HR问：你期望的薪资是多少？如何回答 #
81264次浏览 691人参与
# 26届求职交流 #
16184次浏览 425人参与
# 虽然0面试，但今天___，夸夸自己 #
1281次浏览 31人参与
# 实习学不到东西正常吗？ #
2629次浏览 37人参与
# 一起聊美团 #
344639次浏览 1896人参与
# 今年找实习到底有多难？ #
5208次浏览 53人参与
# 运营人求职交流聚集地 #
221831次浏览 1098人参与
# 比亚迪秋招开啦，你打算投递吗？ #
144347次浏览 837人参与
# 担心入职之后被发现很菜怎么办 #
286542次浏览 1199人参与
# 聊聊你的职场新体验 #
329040次浏览 1875人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务