LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?RAG技术：RAG(检索增强生成)的完整链路包含哪...

遂发牛牛空间

Java 一面 1，垃圾回收算法了解吗？ Java 中的垃圾回收算法主要有以下几种： 标记-清除算法（Mark-Sweep）： 工作原理：首先遍历堆中的对象，标记出所有的存活对象，接着清除未标记的对象。 优点：实现简单，能够处理堆中的所有对象。 缺点：标记和清除的过程会产生内存碎片，影响后续内存分配的效率。 标记-整理算法（Mark-Compact）： 工作原理：首先标记出所有存活的对象，然后将存活的对象整理到一边，最后清除未标记的对象。 优点：避免了内存碎片问题。 缺点：整理阶段需要移动对象，会导致额外的开销。 复制算法（Copying）： 工作原理：将内存分成两部分，每次只使用其...