拼多多日常实习 大模型算法一面分享

发点面经攒攒人品～1.Pretrain 和 SFT 分别解决什么问题？2.Transformer 的基本结构怎么理解？3.多模态模型的大致结构是什么？最容易踩坑的点通常在哪里？4.SFT 数据如何更贴近业务：如何避免过度模板化？如何做基础的 train / test 去重来避免评测失真？5.对齐（ RLHF / DPO 等）整体思路是什么：为什么需要偏好对／奖励信号？6.玩过 Openclaw 吗？了解其的记忆机制吗？7.如果检索返回了很多相关的内容，如何选择最相关的？8.了解 embeding 吗？9.了解过 spec-drivening 的 code agent 吗？10.了解上下文压缩机制吗？11.为什么压缩前 70%？最开始的几轮对话明确需求不是很重要吗？

👋个人背景：9本👏offer1：东风奕派研发岗，实际到手一年14左右，加上公积金一年17💯offer2：inspire（原thoughtworks中国）软件开发，实际到手一年16，加上公积金一年20

本硕双9，两个都不是很好的offer怎么选才好。

1. 大模型微调的完整技术方案与工程落地细节采用 LoRA 参数高效微调方案，仅对 Transformer 的 Q/V 投影层添加低秩矩阵，冻结底座模型参数。训练时设置秩 r=8、缩放因子 α=16，使用 AdamW 优化器，学习率 2e-4，配合余弦退火学习率调度与梯度裁剪。工程上使用混合精度训练、分布式数据并行，提升训练效率，训练后合并 LoRA 权重，不增加推理延迟。 import torch import torch.nn as nn class LoRALinear(nn.Module):def __init__(self, in_features, out_features, r=...