自我介绍 有没有大模型相关的经历，聊了半天大模型挑个熟悉的项目讲下分布式锁一人一单https的s（对称加密之类的）websocket原理以及项目中怎么用的jwt原理以及项目中怎么用的（面试官很喜欢问这两个的底层原理）redis三剑客最后给了几个建议，比如简历融合些大模型相关的元素。处女面，问题都很简单，大部分答出来了但是有些原理没讲清楚，30min就结束了，感觉凉了，自己的问题，还得继续努力

1、自我介绍2、分词器你了解哪些分词器本质上是把原始文本切分成模型可以处理的 token 序列。不同分词器的核心差异主要在切分策略和词表构建方式上。常见的有基于词的分词、基于字符的分词、子词分词和字节级分词。在大模型里更常见的是子词分词，因为它可以兼顾词表大小和泛化能力。典型方法包括 BPE、WordPiece 和 Unigram。BPE 是通过不断合并高频相邻符号来构造词表，WordPiece 更关注合并后带来的概率提升，Unigram 则是从较大的候选词集合里不断删除低价值 token，保留最优子词集合。如果从工程角度看，分词器会直接影响序列长度、推理成本、跨语言表现和 OOV 处理能力。...

27届 想找第一段实习，求各位牛友给些建议

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...