mit 6824求问

哎，继续加油吧

发完简历隔了快一个星期又来问我问题

人的认知还是太狭隘了，我理解中的大厂就只有什么华为什么腾讯字节这种耳熟能详的，所以看到很多之前没有听说过名字的公司，以为就是一些中小厂，上ai一查才发现，我去，什么行业龙头，我去，怎么办公室有一栋楼，我去这是什么时候变成这么大规模的。不过可能我认知中的大厂没有那么大，客观来说大厂必须得万人规模，但是我觉得能有千人就已经很大了😭能进这种公司就满足了😭求职的时候全靠ai来搜索公司到底是什么行业的有什么产品，不然我哪里知道……

自我介绍了解 DeepSeek-R1 吗？介绍一下？R1 的 MLA 是如何实现 KV-Cache 的节约R1 在 SFT 时冷启动的目的位置编码是什么？解释 ROPE？一个 14B 的模型，推理和训练要多少缓存显存的占用和哪些因素有关大模型灾难性遗忘是什么？如何解决？BF16、FP16、FP32 对比？Adam、AdamW 原理deepspeed 的三个阶段自我介绍手写 Self-Attention 公式，解释 Q/K/V 的作用位置编码有哪些实现方式？相对位置编码相比绝对位置编码的优势？LayerNorm 和 BatchNorm 的区别？为什么 Transformer 用 LayerNor...