@我也是找不到实习的摆子： 【25暑期实习】Soul大模型一面
面试时长40分钟自由交流15分钟面试官小姐姐超超超超温柔1. 自我介绍2. 问大模型实习项目，做了什么，用了什么开源模型，主要是chatglm和llama3. 有没有尝试过改原模型的设计，比如结构或者loss函数？为什么不？3. 说一下chatglm或llama与传统transformer结构的区别，有哪些改动，和可以借鉴的地方？主要从模型结构、layer norm、激活方式、位置编码回答4. 在实际训练或微调的过程中遇到了哪些问题，是怎么解决的？主要讨论了下精度问题、梯度爆炸、loss出现nan5. 说说bf16、fp16、fp32的区别6. 简单讲了下deepspeed7. 微调的话用了哪些方法？讲主要是lora8. 追问了下我们用lora调哪些参数？不同参数怎么选？什么影响？……想不起来了一部分7. 代码实现transformer原来的sinusoidal位置编码团队介绍主要做的产品是Soul X系列目前算法组将近100个人，其中NLP组不到20个人，目前主要工作在Role Play方向，AI狼人杀也在其中。国内海外都有相关产品，业务赚钱为主，发专利为辅，有发专利的Okr，没发过论文，但有往技术自研转型的趋势。资源方面的话H800，不到100张。
点赞 5
评论 4
全部评论

相关推荐

07-18 14:05
成都理工大学 测试工程师
点赞 评论 收藏
分享
07-18 12:20
武汉大学 golang
点赞 评论 收藏
分享
06-20 08:56
长安大学 产品经理
点赞 评论 收藏
分享
07-08 01:01
重庆大学 嵌入式软件开发
点赞 评论 收藏
分享
07-23 11:56
魔门塔（苏州）科技有限公司_感知算法工程师(准入职员工)
momenta内推
momenta日常实习面经-嵌入式软件开发，摘自优秀牛友👋一面：1.freertos优先级有几种模式               2.freertos的任务调度               3.freertos的任务优先级设置的值越大，优先级是越高还是越低               4.Linux移植根文件系统用什么做的               5.编译流程               6.MQTT的了解               7.长连接和短连接               8.cmake和makefile               9.git              10....
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 哪些公司开提前批了？ #
17859次浏览 206人参与
# 你投递的公司有几家约面了？ #
108103次浏览 769人参与
# 校招阶段，学历VS技术哪个更重要？ #
14057次浏览 165人参与
# 实习如何「偷」产出？ #
39354次浏览 890人参与
# Offer比较，你最看重什么？ #
191008次浏览 1298人参与
# 除了主业以外，你还有哪些其他收入？ #
9146次浏览 162人参与
# 正在实习的碎碎念 #
1453262次浏览 13466人参与
# 不卡学历的大厂有哪些？ #
21844次浏览 164人参与
# 你的秋招第一面感觉怎么样 #
74551次浏览 574人参与
# 风评不好的公司，你会去吗？ #
48943次浏览 363人参与
# 职场新人体验 #
19158次浏览 181人参与
# 实习打杂，要跑路吗 #
15857次浏览 191人参与
# 腾讯音乐求职进展汇总 #
97616次浏览 566人参与
# 校园里的破防时刻 #
8885次浏览 104人参与
# 社恐入职新公司如何融入团队 #
11417次浏览 62人参与
# 实习时，大家都怎么称呼自己的mentor？ #
43509次浏览 273人参与
# 面试中，你被问过哪些奇葩问题？ #
70478次浏览 802人参与
# 摸鱼被leader发现了怎么办 #
61056次浏览 371人参与
# 软开人，秋招你打算投哪些公司呢 #
107919次浏览 978人参与
# 金融财经春招备战日记 #
23073次浏览 135人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务