大模型

#大模型##产品##产品人求职现状##产品经理##求职##找工作##实习##面试##面试经验谈##应届生##实习生##面试问题记录#

什么是MOE（混合专家模型）？其核心设计思想是什么？DeepSeek MOE是哪家公司的产品？其架构设计有哪些特色？门控网络（Gating Network）的作用是什么？如何解决MOE中专家负载不均衡问题？在分布式训练中，MOE如何实现专家参数的高效更新？DeepSeek MOE如何优化长序列场景下的推理效率？如何评估MOE模型的稀疏性效率？请列举至少2个指标。若设计多模态MOE模型，门控网络应如何融合图像/文本特征？若MOE推理时出现“专家选择震荡”，如何解决？

1️⃣一面 时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。

目前在做 Java 后端，如果秋招想转大模型应用开发的话，请问该怎么准备呢？优先主攻大模型，还是先继续深入学习 Java（目前在实习，学大模型的时间也不多）？前景如何呢（主要薪资方面相比同体量公司的 Java 岗）？小白求教，谢谢各位佬。

26届的提前批，我大厂都还没投，投的都是一些中厂，或者垂直领域的大模型岗，一个约我面试都没有，搞得我担心的很 ，因为导师这儿不方便脱身，所以我没投暑期实习，望我的赛博师兄师姐们给点意见指导，感谢感谢。

bg： 双9，2024级硕，传统工科专业，算法知识范围仅限知道一些机器学习理论，了解基本的pytorch语法，打算砖码算法岗位，计划研1下找一段实习，从今年3月初已经开始在各大平台搜索实习经验了。转码时间线：2.28开始有实习想法，但是在岗位上纠结，在后端，大模型岗位纠结。最终决定大模型岗3.1-3.7吴恩达机器学习3.8-3.21李沐深度学习3.22开始刷leedcode3.24开始做简历3.24-3.25在github上跑开源项目：BERT部署+文本分类3.25-4.1在github上跑开源项目：ChatGLM-6B部署+LLaMA-Factory微调+Prompt模板3.27注册BOSS直聘3.28参加了第一场初创公司大模型的面试，感觉面试还可以，基本上能hold住但最后也都无疾而终了，盲猜可能是技术栈不太相符以及觉着我是低年级。3.29-4.5在github上跑开源项目：Llama3-8B+RAG4.7收到三家公司面试4.7下午面试一家中厂，问题太工程，而我是凑开源项目+偏算法理论性的科研，完全经不住拷打。4.8收到第一个offer，岗位感觉偏大模型调研，拒绝。4.10收到第二个offer，离学校路程半小时+大模型核心岗，但小厂，接收。回归整个实习准备，对我个人而言其实最难的是不断细化调整方向，以及在面试pass被无数次的心态调整，但总体来说是看着自己一步步的进步。记得第一次修改简历时，我对着空白文档发呆了两个小时，如今却能快速抓住岗位JD的关键词进行精准匹配；曾经在群面中紧张到声音发抖，现在面对压力面试已经能从容展现逻辑思维。

攻略 🌈【大模型评估全攻略】！LLM七大核心评估维度保姆级拆解💯👉🏻预训练→SFT→RLHF→数据集→RAG→Agent→Prompt🔥一、预训练评估评估大型语言模型（LLM）的预训练效果需要从多个维度综合考量，涉及基础语言能力、下游任务表现、知识掌握、推理能力等。🔥二、SFT评估评估大型语言模型（LLM）在监督式微调（Supervised Fine-Tuning, SFT）后的效果，需要结合任务目标、领域特性和模型能力设计多维度的评估体系。🔥️三、RLHF评估评估大型语言模型（LLM）在通过RLHF（基于人类反馈的强化学习）后的效果需要从多个维度综合考量，包括生成质量、安全性、对齐性、任务完成度等。🔥四、数据集评估在评估数据集的质量时，可以从以下几个关键方面进行评估：1. 数据多样性2. 数据平衡性3. 数据完整性4. 数据一致性5. 数据与任务的适合性6. 标注准确性🔥五、RAG评估从召回、排序、生成、整体四个维度来评估RAG性能。使用了多种指标，如准确率（Correct）、错误率（Wrong）、失败率（Fail）、BERTScore、ROUGE Score等，以全面评估生成答案的质量。🔥六、Agent评估现如今Agent开发工具/框架不断出现，但如何全面地对Agent进行评估却很困难，本文就从介绍一些主流的Agent/LLM-as-Agent评估工作来看看是否能得到一些启发。🔥七、Prompt评估评估Prompt的好坏需要一个全面和多维度的方法，结合自动评估指标、人工评估和用户反馈等多种手段。选择合适的评估方法和技术，能够有效提升Prompt的质量和生成效果，进而提高模型的整体性能和应用体验。通过不断优化和改进Prompt设计，可以实现更自然、更准确、更有效的自然语言。