字节多模态搜索算法面经分享

1. 你做过的后训练项目里，最难解决的问题是什么2. SFT 数据你怎么构造，怎样避免模型被训练“油了”SFT 最大的问题不是量不够，而是数据风格太单一，最后把模型训成一种固定腔调：很会说、很圆滑、但信息密度低。构造数据时我一般会先按任务拆层，比如信息抽取、工具调用、复杂问答、拒答、安全、长文总结、结构化输出，每一层的目标都不一样。然后再做难度分桶，避免模型只见过简单样本。另一个关键点是负面风格清理。很多数据表面上没错，但非常模板化，比如“这是一个非常好的问题，让我们一步一步分析”，这类东西在少量数据里没问题，规模一大就会把模型带偏。所以我会专门清掉这种“高礼貌、低信息”的样本，保留更接近真实...

给我面没招了，发点面经攒攒人品～1.项目拷打2.样本如果都不一致了，降噪剔除后的离线 AUC 到底是怎么算出来的？3.讲讲长短序列建模的落地方案？4.做 SIM 过滤时，类目到底是用 Target 还是用户预估的？5.你们重排只用了 MMR 吗？有没有试过更复杂的方法？6.怎么衡量 MMR 的相似度？为什么不用 BERT 这种纯语义模型去提 Embedding？7.打散通常会提升多样性体验，但你们测试下来人均 IPV（点击量）反而降了，怎么解释这种现象？8.详解 Transformer 里的 Multi-head Attention 机制？为什么要用多头？9.训练时发生梯度消失或者梯度爆炸，怎么排查？怎么解决？10.详细对比 Batch Norm 和 Layer Norm？（LN 主要是特征维度归一化，Transformer 必考，我这里答得有点磕巴，大家一定要记牢）11.做完全均匀的随机负采样，对整体 AUC 的期望会有影响吗？为什么？12.了解大模型的 Scaling Law（缩放定律）吗？最后两道手撕：最大子数组和（LC 53）无重复数组的全排列（LC 46）

1、自我介绍2、项目拷打3、介绍 DeepSeek 与 Manus，以及他们之间区别4、介绍 LLM Decoder-Only 架构Decoder-Only 架构本质上就是只使用 Transformer 里的 Decoder 结构，通过自回归的方式一个 token 一个 token 地往后生成内容。它的训练目标通常是 next token prediction，也就是根据前面的上下文预测下一个 token。它的关键点在于 Masked Self-Attention。所谓 masked，就是当前位置只能看到前面的 token，看不到后面的 token，这样模型才能按从左到右的方式学习生成。整体结...

有人懂花了两个小时吭哧吭哧写了一大堆，结束后打开邮箱发现流程结束笔试取消的无力感吗😁😁😁😁