小鹏汽车多模态大模型算法面经

给我面没招了，发点面经攒攒人品～项目拷打CLIP部分1.CLIP的结构+一个batch里面混入了相同的图片，也就是说一个正样本被当作一个负样本，但它实际是一个正样本，怎么去解决和避免这些问题?在训练或者说Loss层面2.CLIP可以做分类吗?通过对齐的方式做分类你觉得是可行的吗?3.图像输入给大模型，解码输出文本，这样的对齐方式和CLIP有什么区别?这两种哪种是未来趋势?偏八股部分1.COT有了解过吗?结构化的输入/few-shot 为什么会有帮助?(模型层面)2.有了解过哪些大模型?BLIP2的三个loss介绍3.现在大部分的结构不采用Q-former，而用MLP，是为什么?那为什么之前不用MLP，而用Q-former?4.一个多模态模型，它的视觉和文本编码器的参数量大小有什么配比的逻辑?5.一个5乘5的卷积，它可以由几个3乘3的卷积串联来替换，从而减少计算量但保持感受野不变?6.分类任务需要很多标注样本，但是现在想在少量样本的情况下，实现新增任务的效果，如何实现?不希望通过大量数据做微调手撕：经典力扣 全排列

1. 做一下自我介绍2. 讲一下你做的这个平台，重点说难点 解决了什么问题这个项目的核心不是“把文档喂给模型”，而是先把不同来源的材料转成可稳定检索、可引用、可更新的知识单元。整体架构一般包括文档接入、格式解析、结构抽取、分块与向量化、倒排索引、重排服务、回答生成和引用回填。我负责的部分主要是 chunk pipeline、索引写入和查询编排。难点主要在复杂文档结构，比如目录、页眉页脚、跨页表格、附件引用和条款层级，如果直接按长度切块，召回会很乱，模型也很容易把不同证据拼错。 def build_index(doc): blocks = parse_document(doc) chunks =...

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.实习拷打2.项目介绍3.多任务模型为什么没有使用过ESMM？4.全量更新是怎么做的？增量更新是怎么做的？5.线上线下的验证指标都有哪些？6.多任务模型一般有哪些多任务7.特征优选是怎么做的？为什么要这么做？你还知道哪些特征相关性的分析方法？8.数据样本的比例是多少？9.讲讲PLE模型的架构，细节到每一层的输出都有哪些组成，维度是多少？八股1.讲讲transformer架构2.讲讲Lora，QLora微调的原理？还知道哪些大模型训练的框架3.了解过RLHF吗？4.有没有做过Agent，Agent一般是怎么做的？有哪些流程？5.讲讲ROPE，绝对位置编码和cos，sin相对位置编码的区别？你还知道哪些其他的位置编码？

感觉面完人都通透了，还是太菜了，下去沉淀一下1.可以挑一个最近觉得挑战比较大的项目展开介绍一下吗？2.Agent内部具体的实现可以再详细介绍一下吗？3.MCP是把自然语言转成预置查询类的工具吗？4.操作内部平台时，工具会去操作吗？5.系统测试完成后，准确率怎么评估？6.用20%数据作为测试集，是模型跑case后人工评判准确率吗？7.如何对答案进行轨迹级评分？8.目前系统的准确率是多少？9.项目后续继续优化的话，有哪些优化思路？10.现在系统最核心的问题是并发问题吗？11.准确率还有提升空间吗？12.模型输出不符合预期时，prompt会有问题吗？会调prompt吗？13.有考虑过做SFT和强化学习吗？14.目前RAG具体的实现是怎么样的？15.如果用Redis的缓存，会在哪个阶段去做？16.Redis为什么在高并发情况下表现得比较好？17.什么场景下会用多线程？18.RAG作为知识库检索，和把知识库放到ES上让模型调用MCP接口有什么区别？19.若自己实现包含ES检索和向量检索的搜索接口，和RAG有什么区别？20.Redis和MySQL在使用场景上有哪些区别？21.B+树是怎么样的结构？22.B+树和红黑树的区别是什么？MySQL用红黑树效率会更好吗？23.1000万条数据用B+树存储，树的高度大概是多少？24.场景题，给定一个实时输入流（随时可能停，无法全量存储），如何等概率选取5条记录？25.手撕：两个有序数组，O（logN）求合并后第k大的数