NLP算法面经10

腾讯 LLM (3+1) 🚀
实习+项目占比1/2,八股1/4，代码题1/4，项目被问个底朝天
1. 介绍transformers的结构以及每部分的作用以及对应的参数大小
2. 介绍位置编码（绝对，相对主要是ROPE，以及Alibi（Baichuan使用的））
3. 介绍目前所用的优化器，它们有何区别？
项目中使用了LSTM？为什么使用它，不用Transformer？LSTM的不足和优势？
优势差点没说不来🥲
5. LLM多大的，是否使用并行方式，训练多久，训练过程中遇到什么难题以及如何解决？
Deepspeed和Megatron对比一下有何不同，优势分别是什么？
6. 你为什么选用Deepspeed？出发点是什么？
PEFT的各种结构，简单总结下，各有什么好处？
6. linux如何查询某个文件的前几行？回答指令
你为什么使用DPO不使用PPO？出发点是什么？
7. 阐述下你所了解的大模型压缩技术？并展开讲述1-2个
8. 开放题：现在你有两个选择：超大模型的对话助手和很多特定领域的小模型对话助手，你会选用哪种方案？
9. 代码题：1. 多头注意力机制源码、2. 对角线矩阵、三数之和、3. 快速排序、最长不重复子数组（？）
10.HR就是那样子的，腾讯那边会问：你自己职业规划有什么想法？可三年或五年。面了两次都遇到了。。。
#nlp算法工程师# #秋招# #算法# #互联网大厂# #大模型# #实习# #马上消费金融#