4月份成立的基础模型组，对标qwen deepseek等，一千张卡，20人用目前在做后训练，后面会做预训练手写一个MHA重点考察了qkv的维度转换输入维度 batchsize,sequence lenth, emb_dimreshape + permute后的维度，3，batchsize，num_head，sequence length，head_dim qkv = self.qkv(x).reshape(batchsize,sequence length,3,num_head,head_dim).permute(2,0,3,1,4) q,k,v=qkv[0],qkv[1],qkv[2]

🤤

ps:26届民办学院本，0实习

港硕毕业时间尴尬，投递比较晚，把今年能投的都投了，秋招第一面记录一下 一面 15min 史上最快面试，问了几个老生常谈八股（MySQL、Redis、Golang），问了一会儿实习经历，就结束了反问环节回答说是一面只做基本的筛选，感觉被KPI了