1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...

继三月初因焦虑暑期➕自己的业务开发完没有事干小米离职之后，就开始疯狂补进度，重新看八股和重拾算法。又熟悉又陌生。高强度的复习（也算重学）也让我怀疑到底要不要再继续干技术。这些天完全是被公司们给推着走，暑期开放像下雨了一样一个接着一个。我也是来者不拒，一个接着一个的投，又担心投完了没hc，也担心投早了面试来了自己还没准备好。目前投了：字节、腾讯、虾皮、VIVO、OPPO、拼多多、携程。接到面试：字节（电话约面）、腾讯（直接面试邀约甩脸上，只有一个时间可选）、虾皮（电话约面，hr说不区分暑期日常，看最后转正hc，有uu懂的吗）希望现在做的每个决定以后都不会太后悔，希望最后能拿到一个让自己满意的offer吧。

鼠鼠bg湖北双飞本中流2硕，但从本科就很摆烂，硕士一年半光打游戏了论文也没发出来，工作技能也没咋学以前用过c++和qt今年年初转的Java，但过年放假了20天也是摆烂过日子一点没学，现在刚写完黑马点评，力扣没刷，juc jvm sql高级什么的也都没看，请问下各位我现在就包装下黑马点评然后投简历练手，还是继续沉淀到四月初只想能够刷一个中厂的java后端实习就行了。另外就是最近几天翻了下最近大厂的暑期实习，怎么感觉java后端好少，全是ai相关的，是不是应该再做一个ai相关的项目