1.自我介绍 2. Lora 原理（核心是低秩分解：将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效） 3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化 （1 优化优化器状态，2 优化梯度，3 切分参数，全面节省显存） 4. Qwen的模型结构是怎么样的，相比于 LLaMA, DeepSeek 有什么区别（Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好；DeepSeek只用MoE/ MLA架构，Qwen系列主要是Dense模型） 5.怎么缓解...

双非本像是有案底

🍜 那年的1024，我在食堂悟了道 21年10月24日晚上，当时我正坐在学校食堂吃着我最爱吃的鸡汤米线，因为过生日，所以给自己加了个卤蛋。手里刷着抖音，然后刷到一条“1024程序员节”，我当时就有点好奇，这节日咋和我生日同一天？直到想起2的10次方等于1024才明白原因，然后就想难道我命中注定就是做程序员的吗？然后就有了接下来的一系列故事。第一赚-选学校 因为煮包当时高考考的也很一般刚过一本线，选专业也没有任何方向就是胡乱选，当时其实想报的是机械制造及其自动化，奈何煮包的分数不够一般的大学也上不了只能去学院，当时也是好面子觉得学院可能不好听完全没有参考什么专业排名，也是误打误撞做了个正确的选...