offer比较

如题，牛爷爷们我最近投了很多简历，大公司不要，中小公司交流了好多个，现在有个50-70人规模的公司可以去搞嵌入式开发，试用过了能到8-10k，但是蜀黍我最近也在准备考和学校差不多等级的双非硕，目前准备两个月不到，但是好好学我感觉还是很有可能上岸，所以我该怎么抉择啊，求求各位牛爷爷拷打

9.23 一面 20min自我介绍项目提问（主要是针对简历中大模型相关的项目提问，介绍项目流程以及主要的工作内容）技术提问：介绍一下ViT、说一下多头自注意力机制的原理和应用反问：业务？主要是用在物流场景、工业相机等，有目标检测、语义分割、视频解译等，大模型小模型多模态都会用到无手撕，很快就结束了，感觉面试官对我的项目经历不是很感兴趣，我主要是做的下游任务，可能是与他们大模型岗位不太对口，估计G了。。。

1️⃣一面 1．自我介绍，问实习和论文2．了解哪些最新的多模态大模型，简要介绍3．在 BLIP -2或者 Qwen - VL 中， Learnable Query 的作用是什么4．介绍一下Wide&Deep和DCN这两个模型5．大模型的后训练是怎么做的，在 VLM 上做后训练有什么区别6．知道 SAM 吗？说说 SAM 是怎么做的7．了解多模态 RAG 吗8．概率题：一根绳子剪成三段，这三段可以围成三角形的概率是多少9．代码：一个推荐链路的排序2️⃣二面1．自我介绍，问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．平常训练或者微调 LLM 或者VLM，有什么感受6. 专家划分子空间是区分不同任务但有时候并不能取得理想的效果这是为什么7. 概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率8. 场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣RAG 有哪几个步骤？Step1:将文本分割成块;Step2:使用编码模型将这些块嵌入到向量中，将所有这些向量放入索引中;Step3:LLM 创建一个提示，告诉模型根据我们在搜索步骤中找到的上下文来回答用户的查询。2️⃣实际项目中RAG有哪些优化技巧？首先召回源会考虑多路召回，在召回后面增加一个重排序的阶段，提升召回的质量。另外，重排序模型以及生成模型会根据系统问答的指标情况，进一步微调。3️⃣RAG 中为什么会出现幻觉？出现幻觉问题主要分为两大类，一是生成结果与数据源不一致，训练数据和源数据不一致、数据没对齐或者编码器理解能力的缺陷导致；二是用户问题超出了大模型的认知，用户的问题不在语言模型认知范围内导致。4️⃣RAG 一般怎么做效果评估？RAG 做效果评估主要是针对检索和生成两个环节。对检索环节，我们可以采用 MRR 即平均倒排率，前 k 项的 Hits Rate 命中率， NDCG 排序指标等。生成环节首先是量化指标，再评估生成答案的多样性，看看模型是否能够生成多种合理且相关的答案。还需要引入人类评估，考虑资源效率。5️⃣针对幻觉的问题，有什么解决思路？加入一些纠偏规则，比如采用 ReAct 的思想，让大模型对输出的结果进行反思。还有一种思路是集成知识图谱，即不再局限于向量数据库匹配，做召回时不仅考虑文档块，同时还考虑图谱的三元组。将知识图谱( KGs ）集成到 RAG 中，通过利用知识图谱中结构化且相互关联的数据，可以显著增强当前 RAG 系统的推理能力。6️⃣在实际做项目中，经常遇到各种边界的 case ，一般怎么解决？这个需要分情况来看，首先是无效问题：如果对于知识库中没有的问题，我们需要做一个准入的判别，判断是否需要回答。一般是一个二分类模型，或者直接用大模型+ prompt 来做，使模型在这种情况下输出一个预设的兜底话术。第二个是减少幻觉，在推理模块中添加规则和提示工程技术。还有一种是格式错误：模型可能会生成无法解析的答案，这种可以设计一个备份的代理大模型，当解析失败时，可以基于代理大模型直接生成简洁准确的总结。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。