面试题简述

batch内负采样和随机负采样分别是什么？它们的优缺点是什么？

面试官想听的

1、是否理解负采样在推荐/对比损失中的意义

2、能说清楚两种负采样的来源区别

3、能解释为什么batch内负采样通常更有效

4、能说出适用场景

面试回答举例

负采样在推荐场景中主要是为了让模型学会分离正负样本，增强用户向量和不相关物品向量的判别能力。常见的做法有两种：随机负采样和batch内负采样。

详情可查看：http://xhslink.com/o/20UsX6RqQyV

由浅入深分析

1、随机负样本通常太容易 -> 梯度弱

2、Batch内负样本本质是无监督信息增益

3、技术上 batch 越大，负样本越丰富

4、在双塔模型、对比学习中极常用，例如SimCLR、YouTube DNN

面试加分点

1、提到hard negative可能导致训练不稳定。

2、提到工业常用 BS=1024 以上就是为了利用 batch 负采样。

3、提到负采样分布应该和真实曝光分布一致。