1. 介绍一下你做过的一个项目2. LoRA 的原理以及初始化方法是什么LoRA 的核心是低秩适配。对于原始权重矩阵 (W \in \mathbb{R}^{d \times k})，全参数微调直接更新整个 (W)，成本高、显存占用大。LoRA 认为下游任务需要的更新往往落在一个低秩子空间里，所以把增量写成：W' = W + \Delta W = W + BA其中，并且r≪min⁡(d,k)r≪min(d,k)。训练时冻结原始参数 (W)，只训练 (A) 和 (B)，这样参数量和优化器状态都能显著下降。初始化时通常让 (A) 随机初始化，(B) 初始化为 0，或者相反。这样一开始 (\Delta...

本2硕9，简历里就写了一个点评和一个rpc，有点焦虑，hot100写过一遍感觉和没写一样，八股每天看，但是感觉有点看不下去，看一会就没劲，求骂醒目前才开始投，投了一个vivo，一个亚马逊，一个腾讯

总的来说，这是一场收获很大的面试，感觉面试官不是以老员工的角度来拷打我，而是以一个引路人的视角带着我去思考一些场景问题，用一些真实场景来向我展示平时所学应该如何应用，然后问问题也都是笑着和我聊天那种问法，感觉是一个很有人格魅力的人，就是在他面前基本上说不了谎，而且感觉他更喜欢那种真诚地回答以及真实的思考，真的对我自己有很大的帮助，真的给字节点个大大的赞

1.说一下 Transformer 的底层结构吧Transformer 的核心是用自注意力代替传统序列模型里的递归结构。一个标准模块通常包含多头自注意力、前馈网络、残差连接和 LayerNorm。自注意力负责让每个 token 和其他 token 直接交互，前馈网络负责做非线性变换，残差和归一化负责保证深层训练稳定。它真正厉害的地方不是结构复杂，而是信息传播路径短，长距离依赖更容易建模，并且天然适合并行训练。2. Transformer 为什么用了 LayerNorm 呢因为 BatchNorm 依赖 batch 维度上的统计量，但 NLP 任务里句子长度不一致，线上推理时 batch 也经常...