字节大模型一面

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...

1. Tokenizer从零手撕 BPE 训练 Tokenizer ·从零手撕 Tokenizer 解码2.位置编码绝对位置编码旋转位置编码（ RoPE )长度外推技术3.注意力机制Multi Head Attention ( MHA )Multi Query Attention ( MQA )· Group Query Attention ( GQA )Multi Head Latent Attention ( MLA )4.前馈网络FFN ( ReLU )FFN ( GeLU )SwiGLU5.归一化技术LayerNormRMSNormBatchNorm6．损失函数与度量交叉熵损失函数对比学习损失函数信息论度量7.其他用 Numpy 从零实现 MLP 反向传播●用 Numpy 实现 K - means 算法实现 Transformer EncoderSafe Softmax📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

开头聊实习，项目八股：知道数据倾斜吗？说一下mapreduce工作原理spark了解吗怎么判断一个sql需要优化应该怎么去写一个高效的sql那些操作可能会导致数据倾斜手撕：两个字段的sql表，一个关注者，一个粉丝，找出互相关注的行，去重后返回

和男朋友都是计算机专业的，本2硕9，他已经拿了几个互联网大厂offer了，但是我的技术不够强，面了好多大厂，都是一二面就挂了😭我和男朋友老家不是一个地方的，想和男朋友一起去一线城市工作（因为大厂基本都在北京上海杭州），父母却想让我留省内找个稳定工作。。求问各位大佬，我秋招找啥方向比较合适，一线城市银行国企咋样😔