阿里 通义实验室 NLP算法实习 一面

面试完就知道gg，简直是一个小时的压力面🥲 1. 自我介绍 2. 研究生阶段项目介绍和研究生课程有哪些（直接给我懵了） 3. transformer模型结构 4. self-attention为什么是QKV三个，作者是依据什么构造出来的 5. 梯度消失和梯度爆炸定义，用什么解决 6. Bert的embedding 7. 大模型LLM和transformer的区别，LLM好在哪里 8. LLama模型结构 9. 位置编码方式有几种，为什么旋转位置编码好，好在哪里 10. 为什么GPT采用decoder-only架构，encoder-only为什么不应该更好？ 11. 自己的项目和大模型的结合，...

这家公司是做AIGC的，主要是做Diffusion相关。在我看来还是非常高大上的，就是抱着试一试的心态去面，过的概率感觉不大。面试是两位面试官，上来先是我的自我介绍（奇怪，上午那个居然没让我自我介绍）。这次面试还是围绕着简历进行的提问。第一个项目：是RAG相关的，问了具体的项目经历，其中问了存储的数据形式，以及调用数据库的触发条件。今天的两个面试都问了数据检索能力，因为之前在开发的时候确实没有定量地测试过准确度，只是看使用者反馈过来的效果（因为认识不多，可能就两位数）。问了数据是否是QA的形式，答：直接把文档embedding后传上去的。此外，还问了一些关于Agent、Prompt相关问题。还问了个COT第二个项目：用到了CNN和Bert。问了Bert和GPT以及两者区别，我就答了个encoder only和decoder only，感觉没答到点上。后面查了一下，应该是回答Bert是双向编码模型，用了一个MLM，GPT是声称是模型，将后面的词Mask掉，他的注意力矩阵是一个三角阵。再贴一个应用场景：GPT：文本生成、对话系统、自动写作（我答的是对于生成任务来说比较好）；BERT：文本分类、命名实体识别、问答系统、句子对匹配（我答的是做下游的NLP应用比较好，实质上是做的针对于上下文进行一个embedding。这答得感觉寄了）他们公司是做Diffusion的，这一波下来感觉我的经历切合度不很低，应该寄了。#软件开发2024笔面经##面经#

4.15 投递4.24 机试4.25 评测5.30 技术面6.7 主管面主管面刚约，希望能顺利吧-------6.7更新主管面问了科研经历，然后聊天。怎么开发岗回回问大模型，我说了我是搞cv的不懂nlp还问😓-------6.8更新主管面已过，开泡-------6.13更新HR打电话问了实习时长，base地，这算是要报批了吗？base主管面给我选了深圳

有大佬了解业务范围和工作压力的吗，个人成长如何呢？#腾讯##腾讯数据工程##腾讯实习经验#