字节vs快手选哪个？

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1.项目拷打2.你过往的经历中有哪一个是和大模型相关的，请你详细介绍，然后深挖。3.你之前的经历中有做过微调吗？说一下具体场景以及你是怎么做的，数据集如何构建？手撕，第一道是手写MLP，用torch第二道是手写自注意力

1. 大模型微调的完整技术方案与工程落地细节采用 LoRA 参数高效微调方案，仅对 Transformer 的 Q/V 投影层添加低秩矩阵，冻结底座模型参数。训练时设置秩 r=8、缩放因子 α=16，使用 AdamW 优化器，学习率 2e-4，配合余弦退火学习率调度与梯度裁剪。工程上使用混合精度训练、分布式数据并行，提升训练效率，训练后合并 LoRA 权重，不增加推理延迟。 import torch import torch.nn as nn class LoRALinear(nn.Module):def __init__(self, in_features, out_features, r=...

继续来分享下最近的面经~欢迎友好讨论，信息共享拷打项目1.多模态2.信号分析拷打实习，根据实习项目拓展问题1.模型应用场景，优势和短板2.模型训练输入类型3.小样本训练方法4.后端平台设计方案八股介绍几个docker指令手撕代码最大子数组和

1. 自我介绍2. 多模态里的旋转位置编码是怎么落到二维视觉 token 上的二维视觉 token 不像纯文本那样天然是一维顺序，所以多模态里的 RoPE 通常不会直接照搬文本侧。常见做法是把二维位置拆成行和列两个轴，分别做旋转位置编码，再把两个方向的信息组合到同一个视觉 token 表示里。这样模型在注意力里不仅能感知“前后”，还能保留一部分“上下左右”的相对结构。真正难的不是公式本身，而是视觉 token 经过压缩、重采样、patch merge 之后，原始空间坐标已经不再一一对应。这个时候二维 RoPE 的设计就要和视觉编码器、projector 以及后续 token 压缩方式一起看，否...