27 届实习

很多人问我如何准备大模型的面试，分享下我的经验，针对两种情况：1. 有大模型实习2. 无大模型实习针对无大模型实习的情况，我建议先找一段中厂实习为主，比如 zhipu、Minimax （当然有大厂进大厂）这些，相对容易进，尽量积累大模型实习经历。针对有大模型实习的情况，复习内容为：1. 常规八股（transformer、bert 等）2. 最新八股（GQA 等）3. 技术报告（一定要自己看原PDF，目前推荐 DeepSeekV3, R1, kimi1.5, Minimax-01, Qwen2.5, Qwen2.5-VL）4. 手撕 Leetcode：Hot1005. 手撕模型，比如 MHA 这些首先是常规八股和最新八股，这一部分可以自己找找网上资料，整理好的，背。然后是技术报告，目前推荐的内容有：1. DeepSeekV3：必读2. DeepSeekR1：必读3. Kimi1.5：选读4. Minimax-01：选读，据我所知最长上下文模型（外推到 4M，不过好像被 LLama4 的 10M 超过了）5. Qwen2.5：必读6. LLama3.1：必读7. Qwen2.5-VL（如果简历有多模态内容）：选读重点关注：1. 阶段训练（预训练几段、Post-training 几段？上下文用了多少？数据配比是什么？）2. 模型创新点（MHA 创新是什么？作用是什么？）3. 上下文优化创新点（一般是优化显存和阶段训练）4. 多模态优化创新点（简历有多模态内容）5. 几个模型不同之处（比如 Qwen2 和 Qwen2.5 的不同之处）最后是手撕，Leetcode 只刷 Hot100 够了，模型手撕建议关注（我目前会的）：1. MHA2. LayerNorm3. Transformer Encoder (MHA+LayerNorm+FFN)4. PE（绝对位置编码）5. ROPE6. SwiGLU7. RmsNorm每次面试前快速过一遍就 ok 了。

大佬们看看，简历是否合适。（两个项目的“主要工作”写的很粗糙）然后还有一个问题请大佬们支支招... 我想走大模型相关岗位，但没想好去算法还是开发。算法岗肯定是首选，主要是怕我的项目经历跟算法岗离得远找不到实习。请大佬们给给建议

在大厂上班，薪资和年薪确实令人羡慕，股票、奖金、房补等各种福利。但是这些福利确融入了各种生活线：免费的食堂听起来很不错，但和同事一起聊的都是工作；深夜的打车福利听起来也不错，但实际上总会延长牛马工作的时间。

之前团队在做合同审查和研报问答两个 RAG 项目，踩了不少分块（Chunk）相关的坑。今天把这块经验整理一下，希望对正在做类似事情的朋友有点帮助。先搞清楚 Token 这个概念做 Chunk 之前，得先理解 Token。很多人把 Token 简单等同于"字"或"词"，这不太准确。Token 是模型实际处理的最小单元，中文大约 1.5-2 个字对应一个 Token，英文则大约是 0.75 个单词一个 Token。这件事为什么重要？因为不同类型的文档，Token 密度差异很大。我们实测过：一份 20 页的中文合同，大约 8000-12000 个 Token；...