拼多多一二面

【一面】 1）介绍一个最能代表自己的项目2）项目里负责的边界是什么？哪些内容是亲手实现／验证的？3）电商领域预训练数据：低质过滤与去重会怎么做？用哪些简单指标快速判断数据质量？4) Pretrain 和 SFT 分别解决什么问题？5) Transformer 的基本结构怎么理解？6）多模态模型的大致结构是什么（图像编码器+连接层+ LLM )？最容易踩坑的点通常在哪里？7) SFT 数据如何更贴近业务：如何避免过度模板化？如何做基础的 train / test 去重来避免评测失真？8）对齐（ RLHF / DPO 等）整体思路是什么：为什么需要偏好对／奖励信号？【二面】1）做过的最有影响力的一件事是什么？具体推动了什么变化？2）训练不稳定怎么排查（ loss NaN 、 OOM 、吞吐下降）3) Long Context 常见思路有哪些？在业务里如何做"能看长文本但不太贵"的折中（摘要／分段／滑窗等）?4）如何做一套简单可执行的离线评测集？如何覆盖不同语言与类目？5）多模态场景怎么评估：如何检查"图文一致性／不编造信息"？优先加哪些自动化检查？6) Prompt ／模板如何管理：如何版本化、如何回滚、如何避免一次改动导致整体波动？7) 手撕：实现一个最简单的 top - k 采样（给定 logits ／概率，取 top - k 后重新归一化采样），并说明边界情况怎么处理。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1. 介绍一下你的实习、项目和论文，重点讲一个你真正做深了的点2. 介绍一个你最熟悉的大模型架构，并说清楚它在注意力结构、训练策略和推理优化上的特点可以拿 Transformer 系列来答。核心由 Embedding、Multi-Head Attention、FFN、残差连接和 LayerNorm 组成。注意力结构负责建模 token 间依赖，训练上一般采用大规模自监督预训练，比如 next token prediction，然后再做 SFT、偏好对齐。推理优化上会做 KV Cache、FlashAttention、Continuous Batching、量化和张量并行。如果你想答得更像大模型...

二面完已经等了快二十天了还没三面消息，有人约到三面了吗😴

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...