1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...

一句话总结：“怎么找实习”其实是一个很综合的问题。从技术角度看他应该被拆分成为很多个小问题，比如我应该学哪些东西？我应该怎么写简历？我应该怎么找简历项目？而涉及到的小问题基本上我之前都写过文章聊过，因此这里不赘述了。而这篇文章将从整体角度聊一聊：”到底如何找实习“。更多聊的是作为一个新入门的同学应该如何看待实习以及各种整体性的问题。对实习的认知：实习并不是从零开始学习很多同学都有一个误区：虽然我现在啥也不会。但因为我还是有学习的心思，所以我想找一个实习来推动自己学习。但凡是抱着这个心思去找实习，要么就是被当超级廉价劳动力，写基础垃圾接口当黑奴干。要么就是一脚掉进"招转培"的...