招联消费金融--测试--二面 微凉版

讲解项目，过程中进行提问1.讲解Transformer 的结构。2.为什么要进行多头注意力？3.注意力计算的计算复杂度是多少？4.用bert做下游任务时，输入有哪些embedding？5.用bert做分类任务时，输出是怎么处理的？6.在训练模型时，如果遇到loss不稳定，如何去优化？7.常用什么训练框架？8.讲解  LoRA 原理。9.常用的不同模态数据在embedding层面对齐的方法有哪些？10.多模态模型怎么训练？11.介绍一下 CLIP 模型。12.常用的对比学习有哪些方法？怎么构造数据的？13.RAG检索召回的片段中，有一些质量差的，如果排除掉？14.排序模型关注的指标是什么？15.C++中，指针和智能指针的区别？16.C++中，什么函数的作用？没听清，不太了解。code：二叉树的层序遍历反问

一面 1.项目介绍2.讲讲你对 transformer 的了解3.有哪些常用的解码策略，topp 和 topk 的具体细节，以及实现上的差别4.意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7. 你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8.做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10.deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12.说-下 vm 部署8*7B的 MOE 模型每秒大概能推多少token13.对比学习了解吗，讲一下14.代码题:实现rand5到rand7

岗位AI工程师，后端方向11.25一面11.26二面11.27oc网上只能搜到21年和以前的信息