携程大模型实习面经

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

发一下问题给大家参考，攒攒人品！有面试过同岗的朋友欢迎评论区交流1.项目拷打2.实习拷打3.怎么让 LLM 做到规划、反思？错误处理怎么解决的？4.CogVLM 你们做了哪些调整，蒸馏数据有什么 insight 吗？5.如何做好 LLM 的规划训练？6.手撕：给定一个数 n，给定一组A，求由 A 中元素组成的、小于 n 的最大数

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

发一下问题给大家参考，攒攒人品！1.聊项目，微调数据集怎么构建的，怎么减少幻觉的2.lora微调的A B是怎么初始化的，为什么要这样3.lora微调的loss和预训练的loss计算有什么区别4.交叉熵损失公式，是怎么推导的5.如果微调数据集有不在预训练的token，怎么办6.讲一下你的rag检索方法7.文本检索的倒排索引是如何构建的8.手撕:双指针easy题