1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...

rt 不知道是真的假的丁老板 太难绷了

这几天疯狂在boss直聘和应届生上投简历，结果一个回复都没得，是不是简历有啥问题😭，主要投的都是产品岗，求友友们帮忙看看

1. 说一下 volatile 的作用，它能保证线程安全吗？答：volatile 的核心作用是保证变量的可见性，并且在一定程度上禁止指令重排，但它不能保证复合操作的原子性，所以一般不能单独用来保证线程安全。可见性一个线程修改了 volatile 变量后，其他线程能够立刻看到最新值。它适合做状态标志位，比如“设备初始化完成”“接收到数据”等。禁止指令重排编译器和 CPU 在优化时可能会调整指令顺序。volatile 会在读写时加入内存屏障，避免关键步骤被乱序执行。不能保证原子性像 count++ 这种操作，本质上是“读-改-写”三步，不是原子操作。即使 count 是 volatile，多个线程...