字节 一面 大模型算法 实习面经

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

攒人品中～ 1.  项目里最核心的贡献是什么？怎么评估效果？2.  对比学习中如果负样本和正样本拉不开距离（或太像了），你会怎么修改损失函数或采样策略？3.  FlashAttention 原理：跟普通 Attention 的差异是什么？实现里 $QK^T$、Softmax、$PV$ 这几步是怎么落地的？4.  分布式框架3D 并行与通信：怎么理解 DP/DDP？通信瓶颈一般卡在哪些环节？5.  14B 模型，FP16 权重大概多大？训练时还要加哪些开销？如果用INT8 大概能省多少显存？6.  `torch.contiguous()` 是干嘛的？为什么推理阶段在意内存连续性？7.  代码题：井字棋判胜：读取 txt 井字棋（3×3）状态，判断当前玩家是否获胜。8.  代码题：交叉熵损失：解释原理并手写实现。9.  代码题：线性回归 SGD：推导更新公式并手写实现。

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

零实习，没什么经验，其实很怕，不敢面，但是其他厂都不捞我的，只能硬着头皮面了。感觉最主要还是项目不熟悉的问题，追问一下就只能沉默表示不知道说什么。八股勉强还能把基础的答出来，算法也是入门的水平。感觉自己面试时说话都不利索，有些内容说着说着自己都觉得没讲明白，只好最后来个总结句期望面试官能听懂我在说什么。感觉三回都是差不多的问题。后面有点不知道怎么办，字节HR在ssob上确实很热情，但感觉是kpi，其他的话，没面过，希望最近有笔试的几家能捞我去面面。不过话说回来可能还是要沉淀？但这学期又过得挺快的。