大模型算法凉经-京东nlp

项目一：模型微调相关（面试问答总结） 首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问： 1. 指令遵循能力（未微调情况下的提升方式） 面试官提问： 如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？ 2. 训练数据来源与构造  训练数据是如何获取的？ 数据是如何构造和设计的？  3. Transformer 中的注意力机制  讲解 注意力机制（Attention Mechanism） 的基本原理。 为什么在计算注意力分数时需要 除以 ？ 为什么是 ，而不是 ？  4. LoRA（Low-Rank Ada...

攒攒人品～ 1. Lora应用于哪些模块？为什么是这两个模块？2. Lora两个矩阵怎么初始化？它们的初始化方式能交换吗？为什么？3. Lora r 怎么设置的？为什么这样设置？4. 残差连接的作用？5. 怎么train一个好的lora？具体超参数怎么设置的怎么调优？为什么不只靠学习率，为什么还需要ahlpa/r？6. top-k，top-p，temperature是怎么实现的？7. Qwen2.5VL做了哪些改进？8. 为什么大模型需要强化学习，比起SFT有什么区别？9. 现在的embedding模型有哪些问题？怎么改进？

1、为什么引入父子索引，为什么引入 BM25，比例是怎样的，具体流程是什么，有没有 rerank父子索引主要是为了解决 切块后召回准，但是上下文不完整 的问题。如果文档直接按 300～500 token 切成小块做向量检索，确实更容易召回到具体答案，但很容易丢掉原文结构，比如标题、段落关系、表格上下文、前后约束条件。所以会把文档拆成两层：父块：保留完整语义单元，通常是 800～1500 token子块：用于召回，通常是 200～400 token检索时先搜子块，命中后回源到对应父块，再把父块内容喂给大模型。这样既保证召回精度，也保证上下文完整性。引入 BM25 是因为向量检索对语义相似比较敏感...

点赞收藏加关注，这个系列我还是继续更新的春招已经来了，不知道各位小伙伴有没有拿得出手的实习经历，如果面试少或者没有面试，大概率就是实习经历或者项目经历不太行，我这里有大厂最近做过的实习项目，感兴趣可以看我的项目地址话不多说，直接看点评图片就行