1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...

timeline1.13打电话约面1.20 一面 第二天约二面1.23 二面 过了一个周末约三面1.28 三面2.2 通知三面过 offer审批2.5 oc

拼多多是卡学历吗，暑期实习连测评笔试都没发直接应聘终止了😅😅😅

"你怎么不投简历了？" 室友看着我卸载智联、Boss、牛客的动作，一脸不解。 "不用投了。"我关掉手机，继续收拾行李。 "什么意思？你放弃秋招了？" 我摇摇头，把那本印着"PDD"logo的工作笔记塞进背包："恰恰相反，是秋招主动来找我了。" 三个月前，我还在为秋招焦虑——投了几十份简历，石沉大海。 直到拿到拼多多集团的实习offer。 第一周，我被分配到基础架构团队，导师直接把我拉进了一个核心项目组："这是我们正在做的分布式数据库优化，你先熟悉下架构文档，下周跟我们一起做方案评审。&...