百度实习 大模型算法面经 攒人品

继续来分享下之前的面经~欢迎友好讨论，信息共享1.介绍rankmixer的做法2.手撕tokenmixing3.手撕 MultiHeadSelfAttention4.介绍为什么rankmixer为什么有效对比attention结构为什么更容易scaling5.sim序列是怎么做的原始序列有多长GSU怎么做的6.某些负反馈目标的正负样本比例7.rankmixer线上时延8.训练吞吐，样本量，模型dense参数量，MFU计算方法9.手撕AUC10.了解哪些归一化手段

1. 写一下 attention 公式，代码实现一下attention 的公式是：计算过程就是三步：先算 (Q) 和 (K) 的相似度分数，再做缩放，然后过 softmax 得到权重，最后用这个权重对 (V) 加权求和。 import numpy as np def softmax(x): x = x - np.max(x, axis=-1, keepdims=True) exp_x = np.exp(x) return exp_x / np.sum(exp_x, axis=-1, keepdims=True) def attention(Q, K, V): dk = Q.shape[-1] ...

继续来分享下之前的面经~欢迎友好讨论，信息共享1.介绍项目2.数据集具体信息3.每个项目结构是怎么设计的，为什么这么设计，依据指标是什么4.CLIP框架描述5.它们各自的核心特征是什么6.它们是怎么进行微调怎么去训练的7.手撕代码：两个升序序列的合并8.逻辑题：九个球，其中一个重，其余相等，你有一个天平，问最少几次把最重的球称出来

第一段实习：我以为学不到东西，是公司和mentor的错我的第一段实习，我的mentor是组里的技术骨干，天天不是开会就是对接项目，一天到晚见不到人，入职当天跟我简单说了句“先看看项目文档，熟悉熟悉代码”，之后就再也没管过我。同组的同事都忙得脚不沾地，每个人都有自己的模块要负责，我连问问题都找不到时机，怕打扰人家工作。入职前半个月，我每天的工作就是：打开电脑，翻一遍根本看不懂的项目代码，对着满屏的业务逻辑发呆，有问题先搜AI，搜不出来就只能憋着，一天下来啥也没干，啥也没学会。后来mentor终于给我安排活了，全是打杂的活：整理接口文档、核对数据、改一些无关紧要的文案、写最简单的单元测试。我硬着头...