字节大模型算法 日常实习一面

1、自我介绍2、讲一下你做过的一个最有代表性的项目3、RAG 里 chunk 怎么切，为什么这是个关键点chunk 切分会直接影响召回质量和最终回答质量。因为向量检索不是按整篇文档检，而是按切分后的片段检。如果切得太长，一个 chunk 里会混入很多无关信息，虽然语义覆盖大，但相似度不一定集中，模型拿到后也不容易抓住重点。如果切得太短，单个 chunk 虽然很纯，但上下文不完整，容易导致召回回来的内容缺少关键信息。实际做的时候一般会根据文档类型来定。像制度文档、说明文档，可以按标题、段落、语义边界切；如果是 FAQ 或问答对，本身就天然适合按条切。通常还会设置 overlap，避免一个关键信息...

攒人品中～ 1.  项目里最核心的贡献是什么？怎么评估效果？2.  对比学习中如果负样本和正样本拉不开距离（或太像了），你会怎么修改损失函数或采样策略？3.  FlashAttention 原理：跟普通 Attention 的差异是什么？实现里 $QK^T$、Softmax、$PV$ 这几步是怎么落地的？4.  分布式框架3D 并行与通信：怎么理解 DP/DDP？通信瓶颈一般卡在哪些环节？5.  14B 模型，FP16 权重大概多大？训练时还要加哪些开销？如果用INT8 大概能省多少显存？6.  `torch.contiguous()` 是干嘛的？为什么推理阶段在意内存连续性？7.  代码题：井字棋判胜：读取 txt 井字棋（3×3）状态，判断当前玩家是否获胜。8.  代码题：交叉熵损失：解释原理并手写实现。9.  代码题：线性回归 SGD：推导更新公式并手写实现。

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

过年玩的太狠了，现在还在看八股，打算这周再投。统计下大家的情况