硕士

最近春招正在如火如荼地进行中，看到很多人的简历上都包含大模型相关的工作，各家大厂和初创都很舍得给钱，动辄百万年包也变得不再稀奇。因此在大模型纵横的这个时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。本文汇总了107道大模型算法岗常见的面试题（含答案），内容如下：一、基础篇1、目前主流的开源模型体系有哪些？Transformer体系：由Google提出的Transformer 模型及其变体，如BERT、GPT 等。PyTorch Lightning：一个基于PyTorch的轻量级深度学习框架，用于快速原型设计和实验。TensorFlow Model Garden：TensorFlow官方提供的一系列预训练模型和模型架构。Hugging Face Transformers：一个流行的开源库，提供了大量预训练模型和工具，用于NLP 任务。2、prefix LM 和 causal LM 区别是什么?prefix LM (前缀语言模型)：在输入序列的开头添加一个可学习的任务相关的前缀，然后使用这个前缀和输入序列一起生成输出。这种方法可以引导模型生成适应特定任务的输出。causal LM (因果语言模型)：也称为自回归语言模型，它根据之前生成的 token 预测下一个token。在生成文本时，模型只能根据已经生成的部分生成后续部分，不能访问未来的信息。3、涌现能力是啥原因?涌现能力 (Emergent Ability) 是指模型在训练过程中突然表现出的新的、之前未曾预料到的能力。这种现象通常发生在大型模型中，原因是大型模型具有更高的表示能力和更多的参数，可以更好地捕捉数据中的模式和关联。随着模型规模的增加，它们能够自动学习到更复杂、更抽象的概念和规律，从而展现出涌现能力。4、大模型LLM的架构介绍?大模型LLM(Large Language Models) 通常采用基于Transformer的架构。Transformer模型由多个编码器或解码器层组成，每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置，捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数，可以处理大量的文本数据，并在各种NLP任务中表现出色。前馈神经网络 (Feedforward Neural Network) 是一种最基础的神经网络类型，它的信息流动是单向的，从输入层经过一个或多个隐藏层，最终到达输出层。在前馈神经网络中，神经元之间的连接不会形成闭环，这意味着信号在前向传播过程中不会回溯。前馈神经网络的基本组成单元是神经元，每个神经元都会对输入信号进行加权求和，然后通过一个激活函数产生输出。激活函数通常是非线性的，它决定了神经元的输出是否应该被激活，从而允许网络学习复杂和非线性的函数。前馈神经网络在模式识别、函数逼近、分类、回归等多个领域都有应用。例如，在图像识别任务中，网络的输入层节点可能对应于图像的像素值，而输出层节点可能代表不同类别的概率分布。训练前馈神经网络通常涉及反向传播 (Backpropagation) 算法，这是一种有效的学习算法，通过计算输出层的误差，并将这些误差信号沿网络反向传播，以调整连接权重。通过多次迭代这个过程，网络可以逐渐学习如何减少输出误差，从而实现对输入数据的正确分类或回归。在设计和训练前馈神经网络时，需要考虑多个因素，包括网络的层数、每层的神经元数目、激活函数的选择、学习速率、正则化策略等，这些都对网络的性能有重要影响。5、目前比较受欢迎的开源大模型有哪些?GPT系列：由OpenAl开发的生成式预训练模型，如 GPT-3。BERT系列：由Google开发的转换式预训练模型，如BERT、RoBERTa等。T5系列：由Google开发的基于Transformer的编码器-解码器模型，如T5、mT5等。6、目前大模型模型结构都有哪些?Transformer：基于自注意力机制的模型，包括编码器、解码器和编码器-解码器结构。GPT系列：基于自注意力机制的生成式预训练模型，采用解码器结构。BERT系列：基于自注意力机制的转换式预训练模型，采用编码器结构。T5系列：基于Transformer的编码器-解码器模型。7、prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?prefix LM：通过在输入序列前添加可学习的任务相关前缀，引导模型生成适应特定任务的输 出。优点是可以减少对预训练模型参数的修改，降低过拟合风险；缺点是可能受到前缀表示长度的限制，无法充分捕捉任务相关的信息。causal LM：根据之前生成的 token预测下一个 token, 可以生成连贯的文本。优点是可以生成灵 活的文本，适应各种生成任务；缺点是无法访问未来的信息，可能生成不一致或有误的内容。encoder-decoder：由编码器和解码器组成，编码器将输入序列编码为固定长度的向量，解码器 根据编码器的输出生成输出序列。优点是可以处理输入和输出序列不同长度的任务，如机器翻译；缺点是模型结构较为复杂，训练和推理计算量较大。8、模型幻觉是什么?业内解决方案是什么?模型幻觉是指模型在生成文本时产生的不准确、无关或虚构的信息。这通常发生在模型在缺乏足够信息的情况下进行推理或生成时。业内的解决方案包括：使用更多的数据和更高质量的训练数据来提高模型的泛化和准确性。引入外部知识源，如知识库或事实检查工具，以提供额外的信息和支持。强化模型的推理能力和逻辑推理，使其能够更好地处理复杂问题和避免幻觉。9、大模型的Tokenizer的实现方法及原理?大模型的Tokenizer通常使用字节对编码 (Byte-Pair Encoding,BPE) 算法。BPE算法通过迭代地将最频繁出现的字节对合并成新的符号，来构建一个词汇表。在训练过程中，模型会学习这些符号的嵌入表示。Tokenizer将输入文本分割成符号序列，然后将其转换为模型可以处理的数字表示。这种方法可以有效地处理大量文本数据，并减少词汇表的规模。10、ChatGLM3的词表实现方法?ChatGLM3 使用了一种改进的词表实现方法。它首先使用字节对编码 (BPE) 算法构建一个基本的词表，然后在训练过程中通过不断更新词表来引入新的词汇。具体来说，ChatGLM3 在训练 过程中会根据输入数据动态地合并出现频率较高的字节对，从而形成新的词汇。这样可以有效地处理大量文本数据，并减少词汇表的规模。同时，ChatGLM3 还使用了一种特殊的词表分割方法，将词表分为多个片段，并在训练过程中逐步更新这些片段，以提高模型的泛化能力和适应性。11、GPT3、LLAMA、ChatGLM 的 Layer Normalization 的区别是什么?各自的优缺点是什么?GPT3：采用了Post-Layer Normalization (后标准化)的结构，即先进行自注意力或前馈神经网络的计算，然后进行Layer Normalization。这种结构有助于稳定训练过程，提高模型性能。LLAMA：采用了Pre-Layer Normalization (前标准化)的结构，即先进行Layer Normalization,然后进行自注意力或前馈神经网络的计算。这种结构有助于提高模型的泛化能力和鲁棒性。ChatGLM：采用了Post-Layer Normalization的结构，类似于GPT3。这种结构可以提高模型的性能和稳定性。#五一之后，实习真的很难找吗？##面试##实习##大模型##硕士##研究生#

#测试#  #硕士#  #未来发展# 主要问了一点八股，接着就是一些和测试相关的一些问题，感觉经历不太匹配。但很好奇一个测试岗位，能卷到什么？有什么能卷的啊，无非就是测试工作做的多一些和做的少一些，技术上不会有很大区别。很好奇卷测试会有前途吗？还是都没得选？ #春招#  #研究生#  #转转#

#硕士#双9硕研二，计算机科班，本科末9。硕士没发论文没项目没实习方向是语音，想找个寒假实习。java面试官问我为啥找java不找算法，本科就找java现在有三年工作经验了。算法直接告诉我方向不对，我们只招nlp、搜索、推荐，cv，你的方向不符合。我出来能干啥。学医的同学说硕士可以留院，隔壁学通信的学姐说是没太问技术，帝都研究所20＋年薪，牛客帖子自动化人手一个offer卷不动了，快哭了。拼死拼活上学上了十几年，前半辈子都在上学，争第一，争不过就卷绩点，初高中累的跟狗一样，到了大学发现周围牛人更多，焦虑、胃疼，准备考研焦虑，中途保研，疯了一样投夏令营，然后疯狂被拒，好不容易读研了，感觉到了周围人对自己智商的碾压。以前还能靠努力，现在发现周围人都比自己聪明。卷不动了，真的心累。很委屈。不知道成长路上到底有几时是真正开心的。头发一把把的掉。跟别人说，别人目前没这个问题，还觉得我增加焦虑。明年秋招，发现自己啥也没有。我不知道到底哪里错了。很想哭。投了那么多实习，没动静。真的卷不动了。小时候不觉得有什么。现在真的感觉到了自身的局限性。国内真的太多人了。真的太多人了。今年的java也许就像考研的科软。在学校太久了，还傻乎乎的以为学历高工作就好找。接下来沉淀技术吧。打算学大数据开发。普通人怎么这么难。小镇做题家终于在这一刻，感受到了无力和局限。也许努力并不能换来想要的未来。但是还得努力。听说上一届秋招给的不满意，打算重新找的，有实习转正签了三方结果部门被裁的。也许是我技术不达标，还是不够。学校教育到底给了人什么。我思来想去，可能给人一段脱产准备就业的时光吧。到头来还是要到培训班网课学。没有别的意思。我是想说，如果我早几年学，本科就去开发，会不会比现在好很多。本科毕业那会，笛子点击即送。同学去了那里，现在已经工作了两年。今年秋招，比亚迪人满，校招现场人头攒动，不用说，面试难度肯定大幅度提升。怎么说呢，校园里温室的花朵，遭受了风雨的打击，现在想退缩发现无路可退。受点打击也好，知道市场供需关系了，就知道要改技术路线了。技术更迭太快，aigc是啥，新名词就得查半天。也许以后要自己做蛋糕。但是现在得找个工作啊。人生啊。只要在国内，就逃不过卷的命运。当然，那些家里有矿的怎么都能躺平。不过那些人也都很努力。#你觉得今年秋招难吗##找实习多的是你不知道的事##实习#

我是一个工科研三的电子信息硕士，我的毕业论文基本上是围绕着一个工程展开的，重点是在于开发的内容，在一个工业软件上进行一个二次开发，然后这个模块应用到我们实验室的某一个项目上，工作量主要是在代码方面和软硬件的调试，创新点感觉不是很明确，不像那种机器学习的就有很明显的创新，我同门就是一个的创新点，就是改进那种什么算法现在就担心盲审的问题，因为创新点过不去，工作量应该是可以的，有没有朋友过来人有经验的给我分享一下，谢谢 #论文# #硕士# #你们的毕业论文什么进度了#

想问一下各位大佬，sci对找工作有用嘛，我是做换热相关的，热设计，做涡轮的，不知道像我们这种传统工科是去找实习，还是再发一篇论文更好，不准备读博，想早点去赚钱，求问各位大佬有什么建议😭😭 #热设计# #找工作# #硕士# #sci#

问一下大家985，211计算机相关的硕士，能不能毕业就签到80个的工作，学的差一点40个能不能有 #985硕士# #硕士# #薪资#

现在在双非读硕士，搞计算机视觉方面的😭😭研一现在是不是就得准备学Java了？如果搞Python，人工智能是不是没大有出路求大佬指点一下#硕士# #双非#

▷▹ 无畏 从不拘泥唯一答案▷▹ 无界 探索营养领域边界🔥欢迎来到汤臣倍健π世界💪一起用科学 营养生命补录网申时间：2024年12月27日～2025年1月17日填写大使推荐码EVBW01，🉑免简历初筛，直接做测评！投递链接: https://tcbj.zhiye.com/campus/jobs?memory=%7B%7D&silence=1#硕士# #秋招内推# #汤臣倍健# #留学生找工作# #25校招内推#

211本上海一C9硕，研究生专业控制科学于工程，本科2年入伍经历，读研期间因为严重抑郁导致延毕一发不可收拾，进而导致2024年12月毕业，所以本人大龄30岁。现在努力找工作中，路过的各位大佬和hr们，看看本人还有救吗，哈哈哈！简短介绍一下个人情况，专业能力上面，没有实习经历，代码能力普通水平，其他方面还不错，包括沟通能力等等。从重度抑郁自我一步步走出来，认知重构的我现在处理负面情绪能力、抗压能力感觉贼强，这算是人生优势了。目前，对就业没有很高的期望，心态比较积极，发个帖子想让大家提一些建议，让我自己更清晰一下自己的定位，感兴趣的朋友认为我去什么类型企业比较好呢？就简短介绍这些，有抑郁经历的可以找我咨询，对抗抑郁还是比较有经验，毕竟都延期两年半了，哈哈哈！#抑郁##延毕##就业##硕士##校招##帮帮我#

#汤臣倍健2025届校园招聘🔔网申倒计时1⃣️周网申截至时间:2024年11月30日🤔还有哪些岗位offer充足🆕快来查收汤家校招速报使用内推码【EVBW01】🉑免简历初筛直接测评💌快来冲刺这波末班车💨【内推链接】：https://tcbj.zhiye.com/campus/jobs?memory=%7B%7D&silence=1 #校招# #内推# #秋招# #秋招内推# #25校招内推# #汤臣倍健# #留学生找工作# #硕士#

这是我面的第七家公司。体验感还行，还是我能力太菜了。面试的跟汽车相关的。问的问题非常专业，无奈我太菜，没有回答上来一些特别专业性的问题。面试官人还可以，三十多岁的样子。1.自我介绍2.你对车载12v电有什么了解？3.对电感有什么了解？4.运算放大器的输入输出阻抗？5.电流表测电阻为什么是四线制？6.你对整车的电气这块你觉得你对哪部分比较熟？7.永磁同步电机和三相交流电机有什么了解？8.为什么发动机转速高低都是12.6v电压？9.研究生做的课题是什么？别的记不太清楚了。    面完这场我突然觉得我还不如本科的。研究生做的课题跟就业一点关系也没有，但又不得不去做论文为了毕业。          #研究生# 本科的起码刚学过那些东西，复习起来比较快。用研究生方向的课题找算法的工作，那基本上没什么结果。        这个处境很尴尬，技术的话不太会，而且觉得研究生挣得应该更多点。很矛盾，但也没法，接着面吧。 #硕士#  #我发现了面试通关密码#  #如何判断面试是否凉了#  #重来一次，我还会选择这个专业吗#