自然语言处理

1、自我介绍2、项目介绍3、有没有做全参微调4、lora为什么效果会好一些5、除了微调，还知道哪些技术吗？（PPO,DPO）6、RAG怎么做的？使用了向量数据库吗？6、为什么使用rouge这个指标7、知道其他开源模型吗？（llama、qwen），为什么不选择其他的模型做微调8、讲一下学校的研究课题，哪些创新点9、你觉的强化学习这一块还有什么创新点吗？10、如果给你一个新任务（多模态相关的任务），你能想出怎么用agent的方案？11、有拿其他实习的offer吗？12、反问（最近的业务，组内会有论文产出吗？实际项目的落地经验，学习建议）面试官说不能放弃数据，数据非常重要。没手撕，后面做了一些技术交流，都一一解答，挺好的。

秋招结束了 百度待我不薄算法ssp➕T4定级双非本➕水硕211，无论文，满足了～

一.面试心路历程  本人是23届校招M同学，春招实习累计拿到10+家公司的算法实习offer（字节跳动、腾讯、百度、网易、58同城、智源研究院、CVTE、深信服等大中小公司），想跟优秀的人做点有挑战的事～～ 近期即将入职，春招找实习得益于牛客上大佬们的面经，趁着实习开始前也来分享一下我自己的面经。  先罗列下个人的背景信息以供参考：   学历：广东某双非，本校考研上岸 论文：中科院sci二区期刊一作在投 + 一B会三作 + 一C会三作 实习：一段小公司的算法实习经历 比赛：CCL比赛Top5名次 代码：leetcode 1，面试手撕代码环节基本能ac；由于投的都是提前批或者内推，几乎没有笔试过...

为了准备社招刷了leetcode200-300题左右，侧重刷高频hard题，注重最优解法。面的公司地点均在上海，总共5家。      一、字节跳动-抖音 nlp算法工程师   一面（1h）：   1、自我介绍+聊项目经历；   2、算法题：手撕multi-head self-attention，使用tensorflow或torch框架（尽量按google源码的思路）；   3、开方式问题：介绍deberta中的两个优化点，disentangled attention和enhanced mask decoder；   4、开方式问题：说出pre-norm和post-norm的区别（答案在苏剑林的...

最后投递时间是周四晚！！！ 之后就只有零星机会了~~只要流程上没有叉叉就行，改投递我们可重新主管面~性格测试可以重测，重测挂了就无了~24秋招上海还有需求，AI相关https://mp.weixin.qq.com/s/unoNOOaex_hcgXGGEIlZRw24级应届生校招，2012实验室-产品数字化与IT装备部 AI软件开发岗位，AI算法（nlp, 推荐搜索），开发岗位仍有需求！！！投递方式：1. 登录华为招聘官网 career.huawei.com；2. 选择校园招聘实习生；3. 第一意向选择 2012实验室：产品数字化与IT装备部投递结束之后，简历ID发我一下， 帮你全流程跟踪进展。本人20级学姐，目前后端开发，欢迎来聊历史相关问题：https://www.nowcoder.com/feed/main/detail/358088828c6e40de943334469fa7f69c?sourceSSR=users

岗位是机器学习/数据挖掘/自然语言处理工程师（300个HC的岗位，这个算开发还是算法岗 ……），部门是meg商业研发部，说是做广告变现之类的。有大佬了解吗？能不能学到东西，会不会卡转正和裁员呀？周五：一二三面周一：OC后续：已拒。

10.12一面，10.18二面，目前等三面通知一面/技术面 2024/10/12 下午17:00-18:00自我介绍介绍大模型实习介绍一下YaRN其他长文本技术介绍一下flash-attn，解决的问题是什么，如何解决的介绍一下RoPE从别的方向转到NLP这块的具体过程做大模型SFT过程中有没有遇到什么困难实习过程中最有意思以及最有挑战的部分大模型各个环节中比较倾向于做哪一部分面试官介绍了部门的主要情况，做小爱相关的大模型应用代码题：lc55，跳跃游戏二面/技术面 2024/10/18 晚上19:00-20:00自我介绍论文的方向介绍大模型实习介绍一下YaRN还有哪些长文本扩展技术如何进行效果评...

只要流程上没有叉叉就行，改投递我们可重新主管面~性格测试可以重测，重测挂了就无了24秋招上海还有需求，AI相关https://mp.weixin.qq.com/s/unoNOOaex_hcgXGGEIlZRw24级应届生校招，2012实验室-产品数字化与IT装备部 AI软件开发岗位，AI算法（nlp, 推荐搜索），开发岗位仍有需求！！！投递方式：1. 登录华为招聘官网 career.huawei.com；2. 选择校园招聘实习生；3. 第一意向选择 2012实验室：产品数字化与IT装备部投递结束之后，简历ID发我一下， 帮你全流程跟踪进展。本人20级学姐，目前后端开发，欢迎来聊

一面 2024/8/2 下午16:50-17:30自我介绍问了一下硕士期间做的方向介绍一下大模型实习怎么构造的数据集prompt怎么构建的如何筛选出高质量的数据集？怎么做的SFT你们对数据集中模型的输出有什么要求大模型为什么会有重复输出或者不能停止的现象？从哪些方面可以解决？能够保证大模型两次输出的结果一样吗？为什么？batch_size度对模型的输出有什么影响了解思维链吗思维链有什么好处，从模型训练和损失函数等方面说说为什么要转大模型方向对传统的NLP方向有什么了解文本分类和情感分类啥的有做过相关项目吗对RAG了解吗，为什么要有RAG问了博客的一些事情，主要什么内容第一意向是北京，合肥能不能...

NLP国内外大模型汇总列表[文心一言、智谱、百川、星火、通义千问、盘古等等] 中国大模型列表大全，全面收集有明确来源的大模型情况，包括机构、来源信息和分类等，随时更新。 Awesome family related to LLMS includes:  https://github.com/wgwang/awesome-LLM-benchmarks https://github.com/wgwang/awesome-LLMs-In-China https://github.com/wgwang/awesome-open-foundation-models  大模型相关的Awesome系列包括：...

找暑期实习太晚了，手头上只有这一个offer，是数据开发实习生偏数据采集方向的，主要要求是会数据采集爬虫，web基础知识。有没有大佬做过呀，推荐吗？其实我打算走的方向是实时计算的数开，所以很纠结了

本来只是面着玩的，这次是真的绷不住了。一面问了一堆诸如你觉得大模型能力这么强了以后还有什么好研究的，你觉得rag有什么挑战啊，之类极其空泛的问题。然后让我手撕AOC和BLEU。讲道理，之前面试其他公司手撕神经网络和attention我都忍了，手撕这两个东西我是真的没绷住。这公司是真的牛逼。我突然觉得字节每面一道hard好像也不是那么离谱。

京东零售NLP方向真的有人OC的吗不知道是不是自己排序太靠后了9.20号线下四面，已经过去20天了，目前还没任何消息

请问大家，下面是LAZADA意向书吗？lz背景：真野鸡双非，一段半年百度NLP算法实习经历，目前在杭州某中厂搞NLP实习，以后意向也是走NLP算法。今天lazada发了意向书，title是测开，业务是用大模型搞测开提效，比如用大模型生成测试样例这种，也算是算法+业务的性质。百度是百度智能云的夏令营，为期6周，夏令营结束后可选择继续留下实习或开溜。title是算法，业务是用文心一言做代码生成，和lazada差不多。目前面完感觉也是比较有希望的。阿里和百度做的事都差不多，但是title差挺多的，转正机会都说有，lazada这个因为是早鸟计划机会更大些，不过lz秋招还是想再冲冲大厂正经算法岗的。两天就是阿里进去应该是几个实习生自己玩，百度这边可能有人带（maybe...）。兄弟们，我该怎么选？

下午五点多收到邮件，面试的岗位是飞星计划自然语言处理，最终开奖是不是飞星不得而知~附上timeline：8.2 一面8.14 二面8.21 HR面10.8 OC面经可以看之前的笔记

一二面连在一起，当时被打了个措手不及一面/HR面 2024/9/5 下午13:30-13:40自我介绍从实习中学到了什么实习和在学校的差异你觉得有哪些找工作时最关注哪些因素家乡是哪里，base选择做一个自我分析，谈下自己面试这个岗位时有哪些优势，同时有哪些不足需要去改进反问：面试流程问题，HR面和一面技术面一起，后边再来一轮技术面就OK了二面/技术面 2024/9/5 下午13:40-14:40直接开始八股Transformers中为什么用LN不用BN图像中BN是怎么用的在NLP中如果句子长度不一致，用BN会有什么后果给定一个三维矩阵bsz * seq_len * dim，BN和LN分别作用在...

Attention 知识点总结 本文从 Attention 机制的角度，主要对 Attention Is All You Need 中提出的 Transformer 和 Multi Head Attention 模型、其他相关 Attention 机制进行知识点总结。 BERT、GPT、GAT 等相关的上层模型将另行总结。 Additive Attention 基于加权求和实现的注意力机制。 对于所有的候选元素集合 ，计算所有 对目标 的 Attention 分数的主要过程如下： 其中   为 的特征；  为基于 和 计算的分数，用于计算归一化后的 Attention 权重。  注意：这里主要...