4月份成立的基础模型组，对标qwen deepseek等，一千张卡，20人用目前在做后训练，后面会做预训练手写一个MHA重点考察了qkv的维度转换输入维度 batchsize,sequence lenth, emb_dimreshape + permute后的维度，3，batchsize，num_head，sequence length，head_dim qkv = self.qkv(x).reshape(batchsize,sequence length,3,num_head,head_dim).permute(2,0,3,1,4) q,k,v=qkv[0],qkv[1],qkv[2]

这简直就是我

QQ邮箱把字节意向归类到了广告邮件😂

实验室是做LLM的，研一做了一个LLM应用的项目，主要是负责RAG这块，做问答，无论文。研一暑期实习也是做的LLM应用，目前在第二段实习，也是多模态RAG方向，一直用的py写一些简单的后端。目前纠结是深入LLM，搞LLM开发+算法，还是兼顾java。求各位大佬给些意见。