网易有道 多模态实习 (20250120)

📍面试公司:网易有道
👜面试岗位:ocr多模态实习
📖面试问题:
1、自我介绍
2、多模态研究内容介绍,问了几个问题
3、项目介绍
4、目前实习的工作内容
5、rag为什么要用embeding和rerank,是自己训练的吗
6、多模态大模型了解吗?有哪些架构
7、blip架构
8、图像怎么和文本融合?哪种方式效果更好
9、transform有哪些结构,没什么要多头注意力?
10、代码题(抽了一道上次面网易一样的题目,我说上次写过,面试官说算你运气好,再写一遍,但是这道题我说java写输入输出有问题,他换了一道,写了二十多分钟,根本写不出来,早知道还不如不换的)
11、反问

🙌面试体验:面试官人非常棒,多模态这块我不是很了解,答不出来的也一直说没关系,还安慰我说上次挂你并不是你能力不行,只是岗位不太匹配,这句话也可能是暗示我这次也挂了哈哈。挂了也没啥遗憾,毕竟还有很大差距。这是我遇到过最好的面试官,聊天形式一样的面试确实让人舒服。

面试官说多模态还是很火的,可以多学习这方面的内容。

算法题必须要练了,稍微难点的就写不出来,太菜了。

#软件开发笔面经#  #算法工程师#  #面经#  #大模型算法工程师#
全部评论
所以笔试出的哪道哇
点赞 回复 分享
发布于 02-21 18:00 北京

相关推荐

一、手撕 题目:给定一个字符串 s 和一个整数 k,每隔 k 个字符反转一次,返回最终字符串。简单很快就写出来了二、八股1.自注意力机制是什么?计算复杂度怎么算?吟唱: 通过query-key相似度计算权重,对value加权求和,建模长距离依赖。O(n平方)n为序列长度。2.KV-Cache的如何加速推理?继续吟唱:生成时缓存已经计算过的kv,避免重复计算。3.LoRA的原理是什么?与P-Tuning、Adapter的异同点?LoRA的参数选择对模型性能有何影响?三连吟唱:原理是冻结原始权重,训练低秩矩阵参数。异同在于lora训练参数,p-tuning只优化了prompt嵌入。4.介绍下RLHF的基本流程,与DPO的差异是什么?主动吟唱:RLHF三段式,sft用高质量数据集微调,rm训练对比学习模型用于打分,ppo通过rl泛化增强。dpo直接优化偏好数据,省去rm和ppo。5.分布式训练中的TP、PP、DP分别是什么?TP按tensor维度拆分,PP按网络层数分段流水线执行,DP数据并行,复制模型副本分散计算6.flash-attention的原理是什么?这里回答没太好,只讲了通过内存层次结构什么的减少I/O瓶颈7.DeepSeek的MoA架构与MoE有何区别?moe通过门控机制选择专家子网络,参数规模增加但训练难度大。moa则用多个agent回答,通过数据迭代优化,缓解偏科。8.如何处理数据不均衡问题?上采样小样本,课程学习三、项目与实习1.agent实习主要负责哪些模块?动作规划,memory经验,evaluation pipeline,后训练,很多模块都参与了,面试官也挺震惊哈哈。这里聊比较多就不po了。2.记忆系统如何实现视觉-语言特征对齐?clip映射到联合embbeding上3.如果视觉模块误判,如何通过语言纠错?检测矛盾关键字,通过反馈触发重试。4.具体讲讲怎么构建evaluation pipeline的?做了数据爬取,版本控制,llm打分
查看13道真题和解析
点赞 评论 收藏
分享
评论
4
24
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务