Tcl实业

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...

   😅? 

整体难度应该是低于去年。 题目一 给定区间 ，求其中因子个数为奇数的整数个数。数据范围为 。 解答 因子一般成对出现，只有完全平方数会留下一个未配对的平方根，因此只有完全平方数的因子个数为奇数。 设  则答案为  如果按平方根枚举实现，复杂度是 ；直接用上式计算可做到 。 题目二 已知数列满足  且当  时，  现有  次询问，每次给出一个 ，要求输出 ，其中 。 解答 设 ，预处理  即可。 维护最近  项的窗口和  则有  这样每次转移都是 ，总复杂度为 。 题目三 给定一个无向图，支持  次操作：  1 x：删除编号为  的边； 2 x：查询点  所在连通块中的最大点权。  其中点权定义...