商汤科技多模态大模型实习一面 45min

字节月35+base，定L3，ai智能体自动化标注工具设计岗位，快手月41+base，定级E8，多模态理解岗位。base都北京，选哪个好？

1. 大模型微调的完整技术方案与工程落地细节采用 LoRA 参数高效微调方案，仅对 Transformer 的 Q/V 投影层添加低秩矩阵，冻结底座模型参数。训练时设置秩 r=8、缩放因子 α=16，使用 AdamW 优化器，学习率 2e-4，配合余弦退火学习率调度与梯度裁剪。工程上使用混合精度训练、分布式数据并行，提升训练效率，训练后合并 LoRA 权重，不增加推理延迟。 import torch import torch.nn as nn class LoRALinear(nn.Module):def __init__(self, in_features, out_features, r=...

攒人品中！ 1.minimind数据集怎么来的?预训练数据集是什么形式的?为什么这样设计?2.项目指标提升多少?3.了解qlora吗?4.dpo和grpo区别?项目指标上又有什么区别?数据上呢?5.为什么要做强化学习?为什么不能直接把想要的直接加sft里面从而不用rl6.moe介绍?架构?7.多模态模型了解过吗?8.了解dapo吗?9.手撕moe

1. 自我介绍2. 多模态里的旋转位置编码是怎么落到二维视觉 token 上的二维视觉 token 不像纯文本那样天然是一维顺序，所以多模态里的 RoPE 通常不会直接照搬文本侧。常见做法是把二维位置拆成行和列两个轴，分别做旋转位置编码，再把两个方向的信息组合到同一个视觉 token 表示里。这样模型在注意力里不仅能感知“前后”，还能保留一部分“上下左右”的相对结构。真正难的不是公式本身，而是视觉 token 经过压缩、重采样、patch merge 之后，原始空间坐标已经不再一一对应。这个时候二维 RoPE 的设计就要和视觉编码器、projector 以及后续 token 压缩方式一起看，否...