首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
mysterioussun
苏州大学 电子信息类
发布于江苏
关注
已关注
取消关注
@sdjhshbswp:
美团 腾讯 百度 淘天 大模型相关 日常实习面经
一些答的不好的八股问题总结 忘了很多 想到再更新答案和问题 1. llama 7b 为什么比其他基座好,与gpt3比做了什么改进:数据上质量更高,结构上用的RoPE+SwiGLUE2. GQA可以给训练加速吗:不可以,3. 检索增强怎么做的:4. 长度外推除了ROPE还有什么方法(长度外推一个是训练时数据没那么长导致的一些问题,一个是计算复杂度太高没那么多资源):局部注意力(平移不变性,感受野,window),插值,flashattetion, GQA5. Baichuan和chatglm2有什么不同,数据上,训练上,结构上6. Visualglm图片怎么处理的:blip-qformer7. Transformer结构,一层层讲:8. Visualbert什么结构:前text后visual,用faster-cnn和resnet-50提取视觉特征9. RLHF流程:一个actor,一个critic,一个reward model。将sft后的模型输出后生成回答,回答+答案输入RW得到分数(取最后一个token投影一下)10. Reward model怎么训练的,损失函数是什么:11. 提示工程的fewshot有什么做法:聚类12. Chatglm2与1有什么区别:prefix-decoder回归casual-decoder(原因1.多轮对话用prefix-decoder需要构造多个数据来训练,而casual可以直接用整个多轮对话数据,等效,且各个对话的权重不一样)(这个改动导致了2维编码的去除);gelu->swiglu;RMSnorm;flashattention;MQA13. Chatglm2对话权重不一样的原因:14. 为什么chatglm系列的用ptuning比lora好:都是清华一个实验室出的,配套效果吧15. Ptuning是怎么样做的大概讲讲:前面cocat可学习参数,多了一个MLP层,代码中在k,v矩阵中concat矩阵参数16. Lora怎么做的?为什么只调q,v矩阵或者q矩阵?别人实验这样做不代表在你这个场景下这样做就是对的?:17. 为什么模型都聚焦于decoder-only而不是encoder-only或者encoder-decoder:18. Self-consistency是什么
点赞 25
评论 4
全部评论
推荐
最新
楼层
联想
校招火热招聘中
官网直投
相关推荐
夏姬八取
05-05 01:13
揭阳职业技术学院 计算机类
cpp转码选手暑期实习总结
经历了第二次找实习,感触良多。也被舍友push了一波,做一个找实习的小总结。和大家分享一下找实习的经验。本人双非本985硕,cpp转码选手,研一才开始接触cpp相关的内容。之前有两段实习,一段是在自驾公司做平台开发,一段是在硬件公司做rdma和spdk的内容。项目是webserver+手写malloc。目标想找的就是支持转语言的后端实习投递公司:百度,阿里云,淘天,蚂蚁,腾讯,美团,拼多多,亚马逊,微软,快手,灵犀互娱,阿里国际化,钉钉,饿了么,小红书,momenta,蔚来,oppo,小米公司情况:面试公司:mmt,系统研发实习生:一二hr面oc(3.1-3.7-3.8)蔚来,仿真系统实习生:...
点赞
评论
收藏
转发
双非仔仔
03-16 00:37
已编辑
南阳理工学院 计算机类
破防了……
点赞
评论
收藏
转发
兄弟来当我帕鲁
04-19 16:44
大连理工大学 计算机类
挺好的,就喜欢这种不墨迹的厂()😇😇😇
点赞
评论
收藏
转发
程序员小白条
05-07 19:52
门头沟学院 计算机类
阅文集团笔试 AK 结束~最简单的第二集
跟昨天七牛云的差不多,不过题型变多了,还有场景题。 单项10 + 不定项5 + 三编程+2场景题 编程都是力扣原题,lc 106 中序+后序构建二叉树 LRU 146,还有一题忘了,太简单了.... 编程题三题基本15分钟搞定,主要场景题多写了点,选择直接乱蒙一波~
投递阅文集团等公司7个岗位 >
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
全站热榜
1
...
终于毕业啦
6219
2
...
【牛客&赛文X】技术岗面试-八股编程题单上线!(免费刷)
6026
3
...
5.6校招&实习招聘信息汇总
5834
4
...
学生思维很不适合混职场(包括求职)
5548
5
...
哔哩哔哩服务端开发暑期实习一面5.7
5400
6
...
测开与后端考虑
5155
7
...
虾皮面试面经
4989
8
...
5.7校招&实习招聘信息汇总
4930
9
...
我学Java的原因😋😋😋
4645
10
...
5.7 暑期实习求职总结
4564
正在热议
#
牛客帮帮团来啦!有问必答
#
544399次浏览
9213人参与
#
晒一晒我的offer
#
3067452次浏览
51808人参与
#
在国企工作的人,躺平了吗?
#
83547次浏览
1064人参与
#
简历中的项目经历要怎么写
#
404244次浏览
6756人参与
#
你的简历改到第几版了
#
282734次浏览
4335人参与
#
找工作时遇到的神仙HR
#
165505次浏览
1696人参与
#
0offer互助地
#
39128次浏览
454人参与
#
我想象的工作vs实际工作
#
83256次浏览
1444人参与
#
国企和大厂硬件兄弟怎么选?
#
35504次浏览
711人参与
#
春招你拿到offer了吗
#
340836次浏览
5101人参与
#
学历贬值真的很严重吗?
#
6730次浏览
81人参与
#
来选选带哪个offer回家过年
#
127580次浏览
1267人参与
#
来聊聊你目前的求职进展
#
145643次浏览
1641人参与
#
你已经投递多少份简历了
#
270299次浏览
4165人参与
#
如何写一份好简历
#
236740次浏览
3655人参与
#
金融银行面经
#
2458次浏览
64人参与
#
联想求职进展汇总
#
48864次浏览
691人参与
#
我的失利项目复盘
#
197126次浏览
4351人参与
#
百度工作体验
#
21359次浏览
225人参与
#
如何判断面试是否凉了
#
920435次浏览
14104人参与
牛客网
牛客企业服务