4月份成立的基础模型组，对标qwen deepseek等，一千张卡，20人用目前在做后训练，后面会做预训练手写一个MHA重点考察了qkv的维度转换输入维度 batchsize,sequence lenth, emb_dimreshape + permute后的维度，3，batchsize，num_head，sequence length，head_dim qkv = self.qkv(x).reshape(batchsize,sequence length,3,num_head,head_dim).permute(2,0,3,1,4) q,k,v=qkv[0],qkv[1],qkv[2]

呜呜呜一个面试没有

😅谁说互联网寒冬了？我看未必

1.挑一个项目介绍 2.拷打了一下项目 3.nacos单点扛不住怎么办 4.nacos集群数据一致性让我设计怎么设计 5.rocketmq的工作流程 6.消费者怎么消费消息，一亿条消息他怎么拉取，是每次从头开始拉取吗？ 7.偏移值broker怎么存的？怎么根据偏移值定位消息的物理位置？ 8. rocketmq的底层源码有去看过吗？ 9.redis和数据库的数据一致性怎么做的？说了写后删。 10.有没有别的方法？我说后台线程binlog异步去做。 一个请求过来写了数据并删除了缓存，但是另一条请求读到了旧数据，刷新到了缓存上怎么做？我说删一次后隔个100毫秒再删除一次，面试官问再删一次谁去做？说了...