面试手撕

1.算法题:322.零钱兑换2.实习项目相关1.一价计费满足激励兼容吗?2.GSP 和 VCG 中的效用和社会福利分别代表什么含义?3.regret net 如何保证激励兼容?4.扰动的范围对结果有哪些影响?5.如何设计机制来保证激励兼容?6.机制设计经历了哪几个阶段的模型发展?DeepGSP是怎么做的?7.DNA 为什么要用 MIN-MAX 网络?8.广告主的出价模式是什么?3.八股:1.transformer里使用了什么激活函数?2.为什么要用 relu?3.relu 有哪些缺点?4.GPT 中用了什么激活函数5.transformer的 attention 中的 QKV 是一样的吗?

1.简历项目介绍2.如何做attention，为什么attention要除以根号dk?3.讲讲你对Embedding了解多少？4.对推荐系统都有哪些了解？常用技术点有哪些？5.从从ROC到AUC、再到GAUC，它们分别是什么，有什么区别？6.为什么Transformer选用LayerNorm而不是BatchNorm？7.如何进行模型的在线训练，和离线训练有什么区别？8.项目中涉及的模型是如何进行输出的，是否涉及在线预估？9.介绍多路召回策略。10.交叉熵怎么理解？11.算法题：三数之和

请问大家，字节数开面试手撕代码会考比较难的题目吗，真的很担心，快面试了（日常实习）力扣刷了面经上出现的题目，但是感觉如果是陌生题目还是不能很快思考出来

实习介绍——5min项目相关细节提问——5min1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash Attention 的原理，矩阵 tiling 的过程说细一点，最好把 shape 也讲清楚。手撕算法：经典接雨水+最长上升子序列