字节大模型一面

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...

1. Tokenizer从零手撕 BPE 训练 Tokenizer ·从零手撕 Tokenizer 解码2.位置编码绝对位置编码旋转位置编码（ RoPE )长度外推技术3.注意力机制Multi Head Attention ( MHA )Multi Query Attention ( MQA )· Group Query Attention ( GQA )Multi Head Latent Attention ( MLA )4.前馈网络FFN ( ReLU )FFN ( GeLU )SwiGLU5.归一化技术LayerNormRMSNormBatchNorm6．损失函数与度量交叉熵损失函数对比学习损失函数信息论度量7.其他用 Numpy 从零实现 MLP 反向传播●用 Numpy 实现 K - means 算法实现 Transformer EncoderSafe Softmax📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1. 自我介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如P...

1.自我介绍2.深挖项目经历（约30分钟）3.情景假设，如何选出性能和成本合适的产品，应该从哪些方面分析4.是否了解计网，是否对Linux有所了解5. 手撕最长无重复子串6.未来的职业规划反问1.部门业务2.岗位建议3.未来职业规划建议面试时长：50分钟左右已通过，第二天约的二面