拼多多大模型一二面面经

多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

1、先做一下自我介绍2、介绍一个你最熟悉的大模型项目3、你在项目里具体做了哪些优化4、如果让你做一个保险知识问答系统，你会怎么设计如果是保险场景，我会把重点放在“依据”和“边界”上。因为用户问的很多问题，比如能不能赔、赔多少、什么情况下免责、等待期怎么算，这些都不是开放式闲聊，不能让模型自由发挥。整体上我会先把知识源整理出来，常见的包括：保单条款FAQ理赔规则产品说明客服知识库内部业务手册然后对这些文档做清洗、切分、去重、打标签和建索引。检索层我会优先考虑混合检索，因为保险场景里很多词比较硬，比如免责、既往症、等待期、受益人、赔付比例这类，单靠语义检索不一定够稳。生成层会尽量限制模型，只让它基...

在我看来，颜值确实能带来第一印象的好感，但远没到决定性作用。只要把自己收拾得干净得体、精神利落，让面试官感受到你对这场面试的重视，就已经是很稳的加分项了。一场面试能不能过，绝大多数时候还是看你的专业实力、技术功底，以及对行业的理解深度。与其纠结外貌，不如把精力花在打磨真本事上。好看是锦上添花，能干活才是硬道理。

1. 你做的 Agent 项目整体架构是什么？答：一个比较完整的 Agent 架构一般包括四层：用户输入层、规划决策层、工具执行层、结果整合层。用户输入进来后，先做意图识别和上下文整理，再由大模型决定是直接回答、检索知识、还是调用工具。工具层可能包括搜索、数据库查询、知识库检索、接口调用、代码执行等。工具返回结果后，再交给模型做总结、归因和最终输出。如果是生产环境，还会多一层治理能力，比如权限校验、超时控制、重试、日志、观测、敏感内容拦截。Agent 和普通问答最大的区别，就是它不是单纯生成文本，而是“模型负责决策，外部系统负责拿真实信息，最后再由模型组织答案”。2. Agent 为什么不等于...