NLP算法面经16

薯薯4.30号约的字节三面，面的时候面试官跟我说一面二面表现还可以，就是有点着急，所以才会有三面，三面的表现也还可以，但是一直没接到后续，想知道五一是不是不会推流程，还是寄了…

真实体验是有超好的导师制定成长计划，全程辅导，各种腾讯内部学习网站和资料，上下班班车接送，然后基本一月团建一次。工作压力中等，百分之70情况能6点多下班，其他情况一般在8点左右。早投递，早筛选，早拿offer.！！！敲重点 用我的内推码投递后一定要评论区留言mark一下，以后好找我查进度，我秋招就是随便填别人的内推码，后来查进度都不知道找谁。惨痛的经历。#腾讯集团旗下｜云智研发公司25届春招补录&26届暑期实习开始！【公司简介】云智研发公司是腾讯旗下的子公司，公司坚持投资区域书，布局研发人才，聚集云和智慧产业基础产品和行业标准产昂的研发。推进云与产业互联网战略落地，助力产业数字化转型升...

翻遍各种大模型的实现，虽然结构上可能保留了 dropout 的实现，但是采样概率都设置为 0 了。唯一一个比较新的，还用 Dropout 的模型是 Meta 训练的 Galactica 模型。那为什么现在不用了呢？核心还是要弄清楚 Dropout 的使用场景。Dropout 之前在深度学习当中是一个特别好用的方法，可以防止过拟合，提高泛化。所以说，当模型较大，数据较少的时候，使用 Dropout 是比较合适的。现在大模型处在什么状态呢？✅预训练在预训练阶段，目前可能还是处于欠拟合的状态。之所以说可能，是基于目前公开的一些论文的出的结论。但是现在闭源的公司在采用大量数据合成的情况下，已经训练足够充分或者接近充分也说不定。以 llama 一系列论文为例，训练 llama 1 的时候，龙猫 Scaling law 里面提到 GPT3 是一个训练很不充分的模型。然后给出的数据配比的建议是，10B 的模型要采用 200B 的 token 来训练。但是 llama 1 采用了 7B 的模型，训练量 1T 的 token 发现性能依然有提升。而且预训练所有的语料一般只过一个 epoch，某些特定的领域可能过 2个 epoch，可以认为样本的重复率很低。所以，在数据足够多，多样性足够而且没有太多重复的情况下，大模型在预训练阶段仍然没有过拟合的风险。也就完全不需要采用 dropout。✅Dropout 就完全不需要了么？如果上面的条件不能满足，Dropout 还是有用武之地的。比如前面提到的 Galactica 模型。这个模型和其他大模型不太一样的地方是训练了 4.25 个 epoch，因为他们认为高质量的数据更重要一些，但是又没有那么多，所以就 repeat 数据了。在论文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中，详细列举了数据 Repeat 对训练 LLM 的影响，并且证明了 Dropout 可以缓解数据重复带来的性能损失。在文章《Can LLMs learn from a single example?》中，也提到了在 SFT 的时候，少量的重复数据就会降低模型的性能。这也符合常理，SFT 的数据分布和预训练的通常是不太一样的，重复的数据会让模型拟合新的分布，从而忘掉旧的分布。文中同样也提到 Dropout 可以缓解数据重复带来的影响。所以 Dropout 在数据量较少，多样性不高，需要 repeat 的场景下，依然是一个减少过拟合的很方便的手段。比如现在已经有一些在 LoRA 微调的时候采用 Dropout 的研究了。#算法# #简历中的项目经历要怎么写# #算法岗面试# #互联网大厂招聘# #大模型# #大模型面经#

很多同学问还有没有春招，我说你现在直接投就行了，别问，把秋招投过的再投一遍，你进面率至少比秋招高50% 春招现在就是捡漏，不要畏手畏脚，再不投就毕业失去应届生身份了！入职游卡也有段时间了了，说说卡子的上班感受，毕竟如果我自己都感受不好，也没啥动力推荐大家来了大家可能更熟悉它的“三国杀”，在游戏圈里也算是个老牌子了。公司总部在上海闵行区虹桥国际商务广场，办公环境还不错，交通也挺方便。工作时间是早上9点到下午6点，双休，弹性工作制。福利方面，五险一金、补充医疗、定期体检这些都有，餐补是25块一天，社保公积金公司和个人各12%。整体来说，福利还算可以，公司里有不少海归硕士，薪资水平也相...