度小满大模型实习岗一轮面试

llama的结构,自己部署训练的时候用了多大的模型 几张卡
使用RAG向量数据库的时候有什么额外的处理,wordembedding用的什么模型
问了一下为什么目前主流的模型都是用的decoder-only结构
问了问项目的内容,具体模块为什么这么使用

代码让写了一下self-attention模块,没有torch库,可以写一下伪代码
问了一下attention模块里的mask应该加在哪里,怎么加,mask是什么形式,如果加在softmax之前,值应该怎么设置

然后问了考官一些问题
全部评论
😭借楼招大模型算法实习同学,jd:北京文心一言(自然语言处理部),根据业务需求思考数据构建策略,构建SFT、DPO、check_list数据,多机多卡训练SFT、DPO、RL,愿意思考如何从数据角度优化模型效果。 实习3个月以上,一周出勤4天。
点赞 回复 分享
发布于 07-08 16:20 北京
接好运
点赞 回复 分享
发布于 07-03 16:54 上海

相关推荐

06-13 17:33
门头沟学院 Java
顺序不记了,大致顺序是这样的,有的相同知识点写分开了1.基本数据类型2.基本数据类型和包装类型的区别3.==和equals区别4.ArrayList与LinkedList区别5.hashmap底层原理,put操作时会发生什么6.说出几种树型数据结构7.B树和B+树区别8.jvm加载类机制9.线程池核心参数10.创建线程池的几种方式11.callable与runnable区别12.线程池怎么回收线程13.redis三剑客14.布隆过滤器原理,不要背八股,说说真正使用时遇到了问题没有(我说没有,不知道该怎么回答了)15.堆的内存结构16.自己在写项目时有没有遇见过oom,如何处理,不要背八股,根据真实经验,我说不会17.redis死锁怎么办,watchdog机制如何发现是否锁过期18.如何避免redis红锁19.一个表性别与年龄如何加索引20.自己的项目的QPS怎么测的,有没有真正遇到大数量表21.说一说泛型22.springboot自动装配原理23.springmvc与springboot区别24.aop使用过嘛?动态代理与静态代理区别25.spring循环依赖怎么解决26.你说用过es,es如何分片,怎么存的数据,1000万条数据怎么写入库中27.你说用limit,那么在数据量大之后,如何优化28.rabbitmq如何批次发送,批量读取,答了延迟队列和线程池,都不对29.计网知不知道smtp协议,不知道写了对不对,完全听懵了30.springcloud知道嘛?只是了解反问1.做什么的?短信服务,信息量能到千万级2.对我的建议,基础不错,但是不要只背八股,多去实际开发中理解。面试官人不错,虽然没露脸,但是中间会引导我回答问题,不会的也只是说对我要求没那么高。面完问我在济宁生活有没有困难,最快什么时候到,让人事给我聊薪资了。下午人事打电话,问我27届的会不会跑路,还在想办法如何使我不跑路,不想扣我薪资等。之后我再联系吧,还挺想去的😭,我真不跑路哥😢附一张河科大幽默大专图,科大就是大专罢了
查看30道真题和解析
点赞 评论 收藏
分享
评论
2
12
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务