商汤NLP一面

整体不到1h前20min讲了一个项目,没太详细问。

然后八股:
1. Llama2架构 (embedding, transformer block, LM head)
2. Llama2 transformer block里做了哪些改变 (RMSNorm, RoPE, SwiGLU, PreNorm不太清楚说全了没)
3. 为什么用RMSNorm不用LayerNorm (答参数量少,不太对)
4. 为什么用RoPE不用绝对位置编码,RoPE能表示绝对位置信息吗
5. 为什么现在主流都用Decoder-only而不是Encoder-decoder
6. LoRA原理,LoRA在用的时候可能会有哪些坑
7. QLoRA原理,QLoRA里用的是哪种量化,可以看作是一种超参数 (没太理解)。

最后手写一个快排,终止条件写反了愣了五分钟,回去等消息了
全部评论
这估计同一个面试官
1 回复 分享
发布于 2024-09-06 09:21 北京
佬,你的面经被小地瓜的偷了
点赞 回复 分享
发布于 2024-09-24 16:04 广东
佬,oc了吗,一共有几面啊,我刚刚约二面
点赞 回复 分享
发布于 2024-09-10 18:52 广西
佬,你是用小鱼易连面试的吗,怎么写算法题,是共享屏幕吗
点赞 回复 分享
发布于 2024-09-06 23:59 广西

相关推荐

1.自我介绍,拷打项目为什么用多智能体不用单智能体了解哪些大模型应用框架(你项目中的竞品)rag知识库是怎么搭建的,怎么进行的分片操作如何让大模型更加理解医学名词(一般大模型理解不了医学名词)知识库的大小,我答了一个很大的数,问接口速度问题(一脸懵逼,没考虑过,只考虑过rag层面的优化)询问rag评估(孩子寄了我没做,但是我背过),问具体评估数值(🐔没做过,瞎逼逼了一个数字)优化空间从项目拷打中看的出来面试官水平确实比较高,而且是个声音很好听的小哥哥2.写算法,尽然是acm格式,幸好函数写出来了,可惜的是输入输出没写出来,链表的输入输出真的难3.反问环节:做什么业务,不足之处
梗小姐:佬,你投的不会是这个吧。 wxg-微信支付-模型组 主要工作方向: 1.利用支付数据、社交数据等制定安全策略进行数据挖掘、特征工程 2.前沿模型研究:利用LLM代替xgboost等传统风控模型 本次实习生,可能的工作:使用司内大模型平台进行agent构建,集成到企业微信机器人里,作为内部工具以消息告警等形式提醒产品同学,其实还是偏开发。 掌握python和java应该够用了。 需要掌握的基本知识 简单的开发技能 agent基本原理(重点:function call,可能会被问了解mcp吗) LLM基本知识(训练、微调和部署推理,偏工程化),最好再掌握一些RAG知识
查看14道真题和解析
点赞 评论 收藏
分享
评论
9
34
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务