大模型面经分享

1️⃣自我介绍：【⌚️10分钟】点评：流水账，有些磕磕绊绊，自我介绍环节的项目介绍的很详细，非常冗余。优化：写逐字稿，背诵，提升语言表达能力。2️⃣经常问题的问题优化：【⌚️20分钟】1：transform结构了解吗？回答点评：回答的很简单，5分吧，说了transform的结构是encode-decode结构，分块，每个块里面有四个组建，MHA、FFN、LN、残差链接，介绍和理解不深刻。提升指导：梳理回答逻辑结构，讲解MHA、FFN、LN、残差链接的添加逻辑和含义，其中MHA给出代码层面理解，从2分钟的回答变成6分钟的回答。2：多头自注意力机制是啥？公式是啥？代码你会写吗？回答点评：讲了公式，但是掌握的不够细致，pytorch代码框架不熟悉，attention_mask机制没有写出来。提升指导：讲述代码的原理，如何使用代码回答问题，展示自己的理解深刻。3：rag中的多路召回是什么？embeding为啥用智源的BGE-large/Base？回答点评：使用了BM25和向量召回，但是没有讲出来两个的区别和联系提升指导：先讲原理，再讲述下语义理解能力和泛化能力的区别，计算的效率，两个互为补充等。3️⃣不会回答的问题指导：【⌚️40分钟】1:  LN不太会回答，看网上的回答很多，但是不是理解层面。2：我的向量召回是faiss做的，和这个相关的问题我如何准备？3：经常会被问到rag用的啥框架，这个问题如何回答？还需要准备框架的知识吗？4：面试官经常问我，rag的模型是啥？有做微调吗？如果不做微调怎么回答？5：大模型还需要补充那些知识？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

感觉现在还太早了 投了也没把握 还没做好开战的准备但是不知道会不会很多名额被占了 有没有人来说说

1️⃣抖音一面1、聊项目。2、AUC的两种公式是？你能证明这两种等价的吗？3、BERT-CRF中，为什么要加CRF？好处是？4、self-attention为什么要用QKV三个矩阵，不用有什么问题？有没有哪个模型的Q和K矩阵是一样的？5、reinforce属于on-policy还是off-policy？为什么？6、reinforce带上baseline好处是？reinforce的loss写一下？7、策略梯度会推导吗？简单写一下？8、代码题（代码题一般别着急写，先跟面试官说下思路，确定了再写）：lc 46，全排列（lc表示leetcode，下同）。lc 73，矩阵置0。2️⃣抖音二面1、介绍项目。2、知识蒸馏有哪几种？你觉得哪种效果最好？3、nlp的数据增强方法，主要有哪几种？每一种举个例子？4、分类的损失函数为什么是交叉熵而不是mse？5、BERT对输入文本的长度有什么限制，为什么要限制长度呢？6、BigBird里面有哪几种注意力机制？相比原始transformer的self-attention的优势？7、场景题：如何根据拼多多的商品数量，估计淘宝的商品数量？8、给出emb_size, max_len, vocab_size, ff_inner_size，num_heads, 12层，求BERT参数量。9、代码题：n皇后问题。3️⃣抖音三面‍1、简单聊项目。2、CRF和HMM区别？CRF为什么比HMM效果好？3、如果BERT词表很大，比如vocab_size达到几百万，怎么办？4、快速手写一些transformer的mha（多头注意力），伪代码意思一下就行。5、为什么对比学习中，temperature很小，而知识蒸馏的temperature比较大？6、你觉得在抖音买东西，和淘宝、拼多多他们的区别是？（我没在抖音买过，就只能现场编。）7、你最近看到过哪些paper？简单介绍下？8、你觉得自己有那些优缺点？平时喜欢怎么缓解压力？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

想知道美团开发岗实习大家每周开几次会，几点下班，我现在现在每周至少三-四个会（必开的），而且有两个会在晚上七点半开，一开就快到九点了，最快也要到九点才能下班