海康内推25届

1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

双非学校， 八股大概看了一遍，该去投中大厂吗，还是继续沉淀再投。

应聘了很多家公司，基本上都是小微企业，双非真的无缘大厂吗？哪位大佬帮我看看简历啊？！

项目一：模型微调相关（面试问答总结） 首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问： 1. 指令遵循能力（未微调情况下的提升方式） 面试官提问： 如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？ 2. 训练数据来源与构造  训练数据是如何获取的？ 数据是如何构造和设计的？  3. Transformer 中的注意力机制  讲解 注意力机制（Attention Mechanism） 的基本原理。 为什么在计算注意力分数时需要 除以 ？ 为什么是 ，而不是 ？  4. LoRA（Low-Rank Ada...