京东内推

1.自我介绍 2. Lora 原理（核心是低秩分解：将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效） 3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化 （1 优化优化器状态，2 优化梯度，3 切分参数，全面节省显存） 4. Qwen的模型结构是怎么样的，相比于 LLaMA, DeepSeek 有什么区别（Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好；DeepSeek只用MoE/ MLA架构，Qwen系列主要是Dense模型） 5.怎么缓解...

如图，这是什么心态呢，太搞笑了。

作为一个从大三开始就不停在实习的大学生，在我看来我真正意义上的大学，早在大二搬校区时就永远留在了2024，上班这么长时间，也算是一个同龄人中的老上班族了，自己似乎也一点点染上了“班味”这个将伴随我一生的慢性疾病。具体症状如下：以前的我是一个十分喜欢记录生活的人，平常走在路上，看到小猫小狗小花，或是落日余晖，都会驻足将自己的一分钟分给这些生活中的美好，但现在似乎走在路上只会想着快点到达下一个目的地，哪怕看到什么也不会再掏出手机去拍照去记录。自己似乎在上班的过程中逐渐的失去了浪漫和爱人的能力，以前自己自诩“我梦寐以求，是真爱和自由”，生活中非常有仪式感，遇到什么节日都会想着给自己或朋友创造一点独属...