大模型算法凉经-京东nlp

1. 文章分类大概有多少文章？文章量一般从三个口径说：训练集、验证集、线上累计处理量。实际项目里常见是几万到几十万篇，线上累计处理量会更大。真正影响效果的不只是数量，还有类别是否均衡、长短文本分布是否正常。2. 怎么做的这个分类？怎么实现的呀？就是文本分类标准流程：先做文本清洗，再做标签体系，再做编码表示，最后接分类模型输出结果。如果用的是 BERT，就是文本经过 tokenizer 编码，输入 BERT，取 [CLS] 或池化向量，接线性层做分类。单标签分类一般用 softmax，多标签分类一般用 sigmoid。 from transformers import BertTokenizer...

给我面没招了，发点面经攒攒人品～1* 项目拷打2* 项目的数据来源是什么？你是如何确定优化目标的？3* 比如数据从 100 条扩充到 1.2 万条，是否全通过自动化生成？生成的样本具体是什么样的？举个例子说明一下生成前后的对比4* 怎么保证自动化生成数据的正确性呢5* 在通过调整参数直到模型回答正确为止的过程中，是否意味着生成的CoT中存在错误逻辑？6* 经过数据清洗后，最终用于SFT的有效数据量是多少？7* 在做微调时，除了 LoRA 是否对比过其他的微调算法8* 你是如何评价微调效果的？测试集的比例是多少？微调前后的准确率分别是多少？原有的模型性能保留了多少？9* LLM常用的结构是什么？10* 说一下Transformer 的整体结构11* 目前主流大模型最常用的位置编码是什么？。12* 写一下多头注意力机制的数学公式。13* 公式中为什么要除以 \sqrt{d_k}？其对梯度消失或梯度爆炸有什么影响？14* 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？15* 除了 LoRA，你还了解哪些微调方法？16* 大模型训练通常使用什么损失函数17* 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？18* 你了解哪些优化算法19* 模型训练中出现过拟合的常用解决方案有哪些？

项目一：模型微调相关（面试问答总结） 首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问： 1. 指令遵循能力（未微调情况下的提升方式） 面试官提问： 如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？ 2. 训练数据来源与构造  训练数据是如何获取的？ 数据是如何构造和设计的？  3. Transformer 中的注意力机制  讲解 注意力机制（Attention Mechanism） 的基本原理。 为什么在计算注意力分数时需要 除以 ？ 为什么是 ，而不是 ？  4. LoRA（Low-Rank Ada...

有些大公司 字节跳动开了 vivo开了 华为开了 很多大厂都开了 这个时候快点冲吧 快点抢位置拿offer进大厂