长亭科技 大模型 一面

#面试##哪些公司面试官让你印象深刻？##如何判断面试是否凉了##我发现了面试通关密码#
已挂~
10:25 11:00-12:00
面试官挺和蔼的，整体偏向互相交流学习，没答出来的他还说没关系，这是个不断学习的过程。不是压力面真好！

面试内容偏向八股、基础知识，项目和论文问的少。
自我介绍
介绍Transformer
有哪些encoder-only、decoder-only、encoder-decoder结构
介绍BERT（项目、论文、实习里用的都是bert，没用过其他结构）
我目前的研究基本上用BERT+线性层之类的来做，问我LLM出现后分类任务会被取代吗？
BERT、GPT如何分词，有什么区别
常见的位置编码（讲了正余弦位置、可学习参数矩阵、RoPE）
BERT里的可学习参数矩阵来表示位置编码，对于长文本呢》超过这个长度怎么办？
Attention，为什么有Multi-head，作用是什么。BERT里head数是多少，我说bert-base是12，反问为啥是这个数，是基于啥算法得到的还是经验设计的，我猜测是通过实验观察得到
面试官偏向用GPT系列的decoder结构，对BERT这些记不太清了，所以一直在问这方面的内容，我也表示了确实主要用的还是BERT，但目前的大模型也确实都基于decoder架构来做。
介绍项目的收获与其中的难点。
具体想做算法哪方面，一开始没理解还以为是具体的NLP任务场景，我说都可以做，后来又追问，说是偏数据工程还是模型设计还是模型训练，我脑子一抽说了模型设计，面试官反问说模型设计现在基本上没什么可以改进的了，LLM都基本用decoder结构，然后我说这仨我都可以接受，主要是确实都能做啊，也没啥特别喜爱的QAQ
反问，主要业务场景（安全领域的大模型）、需要具备的技能（追踪最新的SOTA、读paper、理解能力、持续学习能力、动手能力、思考能力）

总体来说 还是一场体验感不错的面试，也没有任何刁难，不会的问题面试官也一直说没关系。像是互相在探讨学习的一个过程~