互联网大厂受欢迎程度排名

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...

前言这是我的agent系列文章的第4篇，该系列分为三部分：AI认知篇：详细讲解相关基础概念AI实践篇：分享诸如skills怎么写、怎么ai coding、怎么写好prompt等的最佳实践AI八股篇：分享我自己整理的应付大模型应用开发岗位必备的八股笔记如果觉得有帮助，欢迎关注我并期待后续文章！预期是日更哦！当天没更可能是因为太累了，周末会弥补的。在大模型应用落地的浪潮中，我们常常面临一个核心矛盾：大模型博学但“失忆”，且容易“胡编乱造”。它不知道我们公司昨天的会议纪要，也不了解最新的内部产品文档。为了解决这个问题，检索增强生成（RAG, Retrieval-Augmented Generatio...