首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
mysterioussun
苏州大学 电子信息类
发布于江苏
关注
已关注
取消关注
@sdjhshbswp:
美团 腾讯 百度 淘天 大模型相关 日常实习面经
一些答的不好的八股问题总结 忘了很多 想到再更新答案和问题 1. llama 7b 为什么比其他基座好,与gpt3比做了什么改进:数据上质量更高,结构上用的RoPE+SwiGLUE2. GQA可以给训练加速吗:不可以,3. 检索增强怎么做的:4. 长度外推除了ROPE还有什么方法(长度外推一个是训练时数据没那么长导致的一些问题,一个是计算复杂度太高没那么多资源):局部注意力(平移不变性,感受野,window),插值,flashattetion, GQA5. Baichuan和chatglm2有什么不同,数据上,训练上,结构上6. Visualglm图片怎么处理的:blip-qformer7. Transformer结构,一层层讲:8. Visualbert什么结构:前text后visual,用faster-cnn和resnet-50提取视觉特征9. RLHF流程:一个actor,一个critic,一个reward model。将sft后的模型输出后生成回答,回答+答案输入RW得到分数(取最后一个token投影一下)10. Reward model怎么训练的,损失函数是什么:11. 提示工程的fewshot有什么做法:聚类12. Chatglm2与1有什么区别:prefix-decoder回归casual-decoder(原因1.多轮对话用prefix-decoder需要构造多个数据来训练,而casual可以直接用整个多轮对话数据,等效,且各个对话的权重不一样)(这个改动导致了2维编码的去除);gelu->swiglu;RMSnorm;flashattention;MQA13. Chatglm2对话权重不一样的原因:14. 为什么chatglm系列的用ptuning比lora好:都是清华一个实验室出的,配套效果吧15. Ptuning是怎么样做的大概讲讲:前面cocat可学习参数,多了一个MLP层,代码中在k,v矩阵中concat矩阵参数16. Lora怎么做的?为什么只调q,v矩阵或者q矩阵?别人实验这样做不代表在你这个场景下这样做就是对的?:17. 为什么模型都聚焦于decoder-only而不是encoder-only或者encoder-decoder:18. Self-consistency是什么
点赞 28
评论 4
全部评论
推荐
最新
楼层
滴滴
校招火热招聘中
官网直投
相关推荐
脑袋困乏掉了
05-17 19:29
Java
在招银的工作一年的感受
我是去年校招加入招银的,后端岗位,到现在已经快1年啦,分享下打工体验!首先是技术方面感觉在金融行业,招行的技术算比较头部了,作为新人也会逐步给一些重要的项目,技术成长也挺快的。工作氛围感觉也不错,感觉是那种比较扁平式的管理,领导没什么架子,同事们关系都挺好的。加班嘛其实也有的,不过感觉强度还好的也是跟着项目来的,周末反正是没加过班。有一说一福利还不错,节日福利费、购物卡、还有各种俱乐部活动也会发东西~整体感受还不错的,对招银感兴趣的朋友可以留言,秋招给大家内推
投递招商银行·招银网络科技等公司8个岗位 >
点赞
评论
收藏
转发
匿名牛油
不愿透露姓名的神秘牛友
05-13 07:40
暑期实习简历急缺,双非可投!
一家通信类中大厂,主要缺硬件类和设计类的简历,需要的宝子,评论一下或者私信!急缺!!
点赞
评论
收藏
转发
在午休的面包
04-20 20:47
Java
怎么有人用这种格式打招呼的啊
晚上突然这条跳出信息,有点吓人
点赞
评论
收藏
转发
牛客146600443号
04-14 10:33
门头沟学院 计算机类
你要不噶我个腰子吧,不然这钱我真拿不住
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
全站热榜
1
...
盲审已过,答辩已过,工作已签
3.3W
2
...
聪明人看的Java后端入门路线(应该比大多数高手给的靠谱)
1.4W
3
...
【有奖活动】浅聊一下我的实习⭐
1.2W
4
...
实习难求——做个总结
9354
5
...
25届暑期实习中后期更容易拿offer
6694
6
...
pcg qq 一面
5734
7
...
深夜emo了,暑假实习还是0offer
5067
8
...
26届菜鸡投了一个月大厂日常,0面试绷不住了呀。听说9月后机会可能会多起来,感觉要被迫继续沉淀了之前和导师聊,说找到大厂实习的话可以去,对就业帮助大,小厂的话就emmm投了快一个月,老板上打招呼绝大数
4699
9
...
数据库慢查询优化的一个回答
2974
10
...
前端暑期实习总结(经验向)
2763
正在热议
#
牛客帮帮团来啦!有问必答
#
778451次浏览
12203人参与
#
机械制造薪资爆料
#
313966次浏览
3617人参与
#
海康威视求职进展汇总
#
97727次浏览
1176人参与
#
0offer是寒冬太冷还是我太菜
#
421214次浏览
4876人参与
#
投了多少份简历才上岸
#
59070次浏览
966人参与
#
荣耀求职进展汇总
#
68015次浏览
682人参与
#
提前批过来人的忠告
#
21285次浏览
437人参与
#
你的工作大概什么时候入职?
#
4313次浏览
52人参与
#
毕业租房也有小确幸
#
26766次浏览
1481人参与
#
简历无回复,你会继续海投还是优化再投?
#
22451次浏览
316人参与
#
晒一晒我的offer
#
3417386次浏览
54770人参与
#
非技术岗是怎么找实习的
#
77077次浏览
1430人参与
#
工作压力大怎么缓解
#
10524次浏览
148人参与
#
产品人求职现状
#
51844次浏览
762人参与
#
实习生应该准时下班吗
#
79538次浏览
587人参与
#
宁德时代求职进展汇总
#
36384次浏览
401人参与
#
找工作中的意难平
#
194335次浏览
3441人参与
#
产品实习,你更倾向大公司or小公司
#
38588次浏览
594人参与
#
如何写一份好简历
#
270259次浏览
4041人参与
#
你觉得找工作该拿大厂还是小厂练手
#
60141次浏览
847人参与
牛客网
牛客企业服务