- 正确答案：SFT（Supervised Fine-Tuning，监督微调）和Pretrain（预训练）是大语言模型开发流程中两个本质不同、目标不同、数据不同、计算范式不同的阶段。Pretrain 是在海量无标注文本上通过自监督学习（如语言建模）构建通用语言表征能力的过程；SFT 是在高质量、有明确输入-输出配对的标注数据集上，以监督学习方式对已预训练好的模型进行任务对齐与行为校准的过程。 - 解答思路：可从四个维度系统对比——目标函数、数据形态、训练范式、模型能力演进路径。Pretrain 的目标是学“世界知识”和“语言结构”，其损失函数是自回归或自编码式的重构损失（如预测下一个词）；SFT 的目标是学“人类意图”和“指令遵循能力”，其损失函数是标准的监督交叉熵损失（logits 与人工标注 response 对齐）。二者不可替代：没有 Pretrain，SFT 缺乏底层语义基础；没有 SFT，Pretrain 模型虽能续写但无法可靠响应指令、拒绝有害请求、执行多步推理等。 - 深度知识讲解： 1. 底层机制差异： - Pretrain 阶段通常采用 causal LM（如 GPT 系列）或 masked LM（如 BERT）目标。以 causal LM 为例，其前向传播本质是：对每个位置 i，模型基于 x_{Instruction: ... Input: ... Response: ...。此时 loss 仅在 response token 区间内计算（常 mask 掉 instruction 部分的 loss），即：L_SFT = −Σ_{t∈response_tokens} log P(x_t | x_{" inputs = tokenizer([ex["prompt"] for ex in batch], truncation=True, padding=True) labels = tokenizer([ex["prompt"] + ex["response"] + "" for ex in batch], truncation=True, padding=True) # Build loss_mask: only compute loss on response part (after [/INST]) input_ids = torch.tensor(inputs.input_ids) label_ids = torch.tensor(labels.input_ids) loss_mask = (label_ids != tokenizer.pad_token_id).long() # Set prompt tokens to -100 so CE ignores them for i, (p, r) in enumerate(zip(batch, batch)): prompt_len = len(tokenizer.encode(p["prompt"])) loss_mask[i, :prompt_len] = 0 logits = model(input_ids).logits # [B, T, V] shift_logits = logits[..., :-1, :].contiguous() shift_labels = label_ids[..., 1:].contiguous() shift_mask = loss_mask[..., 1:].contiguous() loss = F.cross_entropy( shift_logits.view(-1, shift_logits.size(-1)), shift_labels.view(-1), reduction='none' ) loss = (loss * shift_mask.view(-1)).sum() / shift_mask.sum().clamp(min=1) return loss ``` - 扩展知识：SFT 并非终点，而是对齐 pipeline 的中间环节。工业级流程通常是：Pretrain → SFT → RLHF（Reinforcement Learning from Human Feedback）或 DPO（Direct Preference Optimization）。SFT 提供初始策略 π₀，RLHF/DPO 在其基础上进一步优化 reward modeling（如用 Bradley-Terry 模型拟合人类 pairwise 偏好）并进行策略梯度更新，解决 SFT 无法建模“相对优劣”的缺陷（例如两个 response 都语法正确，但一个更简洁、一个更详尽，SFT 无法区分）。此外，近年出现的 QLoRA + SFT 工作流表明：即使在单卡 24GB 显存上，也能对 70B 模型高效 SFT，核心在于 4-bit NF4 权重量化 + LoRA 低秩适配器，使显存占用从 O(d²) 降至 O(d·r)，其中 r << d（d 为 hidden size，r 通常取 8~64）。

百度大模型算法实习面经 好难

全站热榜

创作者周榜

百度大模型算法实习面经好难