大模型nlp实习二面-vivo

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

欢迎友好讨论，信息共享1.实习拷打2.做 grpo 遇到熵崩没有？你是怎么理解的？3.大模型容易 reward hacking，如何解决？4.VLLM prefix cache实现过吗？5.如何理解 dspo 这几个算法的创新？6.长上下文压缩有哪些方法？7.MOE 的 expert parallel 如何做的？8.手撕： transformers encoder

先做下自我介绍。看你的专业是非科班的，这两个专业是做什么的？你是自己对计算机感兴趣吗？那你们有什么计算机相关的课程吗？操作系统、计算机网络这一块了解吗？能给我介绍一下虚拟内存吗？除此之外呢，还有其他作用吗？什么是携程？携程跟进程、线程这种东西，它有什么区别啊？了解零拷贝技术吗？计算机网络你是自己去看那本书是吧，还是学什么课程啊？能介绍一下TCP是怎么保证可靠性的吗？有了解过HTTP/2 或 HTTP/3吗，区别是什么？算法跟数据结构这块，你是也是自学是吗？还是有课程呢？可以介绍一下跳表这种数据结构吗？Redis集群了解吗？MySQL锁机制能给我介绍一下吗？场景题：如果你只有2G内存可以用的话，...

给时间时间 终会梦想成真的🥺那就努力努力再努力🤲