*******************************1、为什么要使用 Elasticsearch?系统中的数据， 随着业务的发展， 时间的推移， 将会非常多，而业务中往往采用模糊查询进行数据的 搜索，而模糊查询会导致查询引擎放弃索引， 导致系统查询数据时都是全表扫描，在百万级别的数据库中， 查询效率是非常低下的，而我们使用 ES 做一个全文索引， 将经常查询的系统功能的某些字段，比如说电 商系统的商品表中商品名，描述、价格还有 id 这些字段我们放入 ES 索引库里，可以提高查询速度。2、Elasticsearch 的 master 选举流程？Elasticsearch 的选主是 ...

个人背景：本9海硕，一段本硕之间的一年工作经验，一段老外研究所实习岗位：内核研发TL：boss投递，3/15行测，3/18一面一面：时间：3/18，长度30分钟内容：自我介绍问实习做的数据库的底层，实习做的工作问数据库的底层实现，问的很深很细，例如建哈希表的适合哈希冲突“具体”是用什么锁解决的，两个表Join的底层实现，数据库文件的设计，不是普通八股，而是真的研究过才能答上来的那种复盘笔试，两个装不进内存的表找交集，如果ID不是有序的怎么办？反问公司数据库感受：面试官全程比较冷淡，抓住一个点就往最深了问，我就只是做过两三个月数据库，那种问题我觉得只有老油条才会吧。。。然后就是很多问题直接回答不...

#海量数据# 周一约了今天下午面试，现在突然告诉我没名额了😅😅

最近跟几个大厂朋友吃饭聊起来，谈到如何了解候选人技术视野和主动性，发现大家都喜欢问一道问题，最近看过哪些技术书籍?面试的时候我经常会问一个问题，你最近在读什么书，你读过xx书吗？你对某个技术了解吗？通过这种方式，来了解同学们学习能力和开展某个技术的考察。这个问题我基本都会在面试快结束时问候选人，可以缓解面试紧张的氛围，主要是通过了解面试官技术书籍阅读情况，基本可以了解候选人学习主动性和积极性，对新技术关注度。分析原因互联网是一个高速发展行业，新技术层出不穷，我们希望招聘到的是技术视野宽广，爱学习，有主动性和积极性。而主动读书学习是反映这些品种习惯很好的证明。有哪些陷阱1)没看过什么技术书籍，吞...

问了tcp，mysql索引，有没有用过redis（我：无），怎么处理海量数据。二面问了如果队友进度落后怎么办，以及如何处理一个新接触的任务。

目前收获: bat两个oc一个评估中，其余互联网oc*2积点功德，等更多oc，offer面试oj题:1. 字典树构建，用字典树做搜索/分词; 求平方根2. 编辑距离，正则表达式匹配，寻找两个有序数组中位数，合并k个升序链表变体，岛屿数量，二叉树层次遍历，二叉树最大路径和，数组中第k大的元素等（lc hot100）3. python解析json结构，正则表达式匹配（re）4. 手撕: multihead self attention, logistic regression, layernorm(pytorch可用)大模型:今年nlp面试感觉逃不了大模型1. deepspeed框架介绍2. lora介绍，了解什么其他高效微调方法3. prompt tuning, instruct tuning, fine tuning差别4. llama中per norm，rmsnorm的介绍，优劣，position embedding构造方法5. prompt构造经验，怎样的prompt更好业务场景:可能是本人业务经验少，问得大部分都是“从0开始构建xxx”的问题，比如“从0开始构建推荐系统”另外，还有很多大数据场景问题，如海量数据中敏感词检测，海量任务调度等概率题:绝大部分都是经典题，还有大数定理，连续分布的均值方差公式，有时需要用牛莱公式算积分(ps. 拉格朗日乘子法，一阶泰勒展开要熟悉)

欢迎私信我获取更多面经知识！!Hadoop 中 fsimage 和 edit 的区别是什么?在Hadoop中，fsimage和edit是两个关键的组件，用于存储和管理文件系统的元数据。fsimage：fsimage是一个静态的文件，用于存储Hadoop文件系统的整体状态。它包含了文件和目录的层次结构、文件和目录的属性信息、权限和访问控制列表等。fsimage文件在NameNode启动时加载到内存中，并用于响应客户端的元数据请求。edit：edit是一个动态的文件，用于记录Hadoop文件系统的变化操作。当有文件系统操作（如创建、删除、重命名文件或目录）时，edit文件会记录这些操作的细节。ed...

0.项目拷打1.netty（项目中用到了）底层用的什么协议？2.为什么用netty不用java原生的nio3.netty的工作原理4.nio对于bio的改进有哪些5.你说到底层是linux内核里面的，用了哪些函数吗6.海量数据下，mysql查询太慢怎么优化7.介绍索引8.组合索引中为什么缺了左边的就不能用了呢9.分布式事务 seata（项目中用到了）用的什么模式10.为什么分布式事务性能不行11.介绍一下 spring cloud alibaba的各个组件（项目中用到了）12.介绍下nacos怎么作为注册发现中心的13.负载均衡策略有哪些14.grpc底层用的是什么协议15.为什么UDP不可靠16.TCP怎么保障可靠传输17.CMS介绍18.如果项目总是full gc，怎么排查19.mysql默认的隔离级别是什么20.可重复读是怎么实现的21.readview中能看到什么样的事务id22.TCP拆包粘包问题怎么出现的，怎么解决23.Raft、Gossip协议的应用场景24.redis选主的流程25.如果都没超过半数怎么办，我非要让他有个主呢

今天面试时间差不多半小时，面完也不知道自己面的到底是实习岗还是正式岗。先说一下对这个公司的感觉吧，感觉面试官的脾气都比较好，但是并没有让我去进行自我介绍，而是一上来就开始问我的项目。还在担心自己的自我介绍记得不牢固怎么办……总的来说，还算ok。非常开心的是，我的面试之店终于开张了！过去的一个月都在焦虑，怕自己找不到工作。今天总算正儿八经的去参加了一场面试，但还没有让手撕代码，只是问了一些原理层面的东西。有几个问题没答上来，需要好好复习一下啦。业务那个哥问了一个问题，如果数据是有些有标签有些没标签的，应该怎么处理？雀食，感觉真实业务场景中都不怎么会是有监督学习。我只能给他答上来我的思路，...

腾讯一面凉经qq应届后端开发前k个高频元素（字符串数组）TOPK问题海量数据排序TCP UDP UDP的包大小进程 线程 协程Linnux内存分布 URL到网页流程

一面自我介绍介绍下你理解的DDDDDD中防腐层有什么用，他是防止哪里的代码腐烂MySQL的索引为什么要用b+ tree，有什么好处MySQL的字段为什么要限制长度，如果不限制会怎么样产生四锁的条件是什么，怎么打破？（嘿嘿，之前手撕过四种方式打破死锁）Java并发编程你怎么理解，什么时候会出现并发问题synchronized和ReentrantLock的区别他们分别怎么用一把锁锁住全局（这个问题没懂，没答出来）再来个系统设计题：我们要给用户发短信链接，因为短信是按字符收费，所以我们要让链接尽可能短，现在要你设计一个接口，给你一个很长的链接，返回一个短链接(固定的域名什么的不算，要求后面固...

北京某公司西安分公司 凉面介绍了下公司，问期望薪资1.自我介绍2.两个子组件相互通信3.如何封装组件4.localstrange与sessionstrange，cookie，session的区别场景题，新建一个标签页，用哪个存的数据可以显示5.做这两个项目是为了什么6.海量数据查找某个数据是否存在7.二分法前提条件，是有序？我脑子一抽说我不知道

技术一面1，自我介绍2，做过最难的一个功能模块，遇到最难的问题3，现场做一道设计题，比较T1，T2两个表的数据，找出ID相同的数据(1)数据大小256M;（2）数据大小为4G;4，面向对象的特征，如何实现多态。

#我的实习求职记录#    本菜鸟也记录一下暑期实习过程。我是从三月底开始投的，目前还是0offer。由于3月之前只刷了hot100也没吃透，4月和5月的笔试基本都g了。也没收到面试。    最近两三天才有两个面试，第一次是5月31号阿里灵犀互娱的，面试官挺好的，由于做的项目很简单，以为不会问，结果直接被拷打了，从项目延申的八股自然也被拷打了。最后是海量数据提取重复数和不重复数的个数，有内存的限制。没接触过，没想到分治和位图法。    6月1号接到快手的面试，面试官真的很温柔（再次表示我太菜了），问的八股也是很基础的，但是不知道为啥脑袋空空，都只能说几个大概。可能还是没有理解相关概念吧，同样也被拷打。牛友们是怎么背八股的啊，感觉背了就忘，自己总结描述能力也不行。最后是写一道比较简单的string类型的大整数相加，代码重复度高，也没优化出来。*6月9号*更新    8号面了一下亚马逊，原定的是9点到11点的面试。结果我9点上线的时候，第一个面试官一直不上线，也不知道原因，等了半小时内心想到10点几分如果还没有人就退出了，结果10点多一个面试官上线了。面试官很和蔼，首先是大概18分钟的项目面，问了最近你学到的比较有意思的技术，我说了点分布式的内容，然后就问我了解分布式系统吗，本菜鸟只能回答不太了解，只了解了raft算法，然后转问我cap的原理，本菜鸟只能默默，接着问我RPC，我也只了解个大概。然后就是一道算法题，二叉搜索树求众数，本菜鸟只会hashmap，但是面试官循循善诱，还是提示了我很多，最后还是没写出来，我写着发现还是需要一个栈或者队列的结构来存结果，又觉得和hashmap空间消耗差不多，同时时间也不够了，所以还是没写出来。最后就是反问部分，问了部门是做物流的。ps：真的很想去亚马逊，但是我还是太菜了，来自通信转码半年的痛，所以非科班要转码趁早（目前刷题量大概只在200道，还没吃透）。    这一面结束后几分钟，hr打来电话抱歉，说第一个面试官有事来不了，说约下午的时间面试，但是当时心太累了，加上面得也不好，所以就拒绝了。ps：希望亚马逊不要拉黑我，真的很喜欢wlb的企业。我再去沉淀沉淀吧。。。

项目、科研、难点数据库ACIDMVCC怎么实现。视图。B+TreeC++STL的unordered_map、map：底层，区别。多态。如何运行期实现动态多态多线程协程。相较于线程的优点，为什么快？多线程lru算法。需要考虑哪些问题，怎么解决？场景题两个大文件数据库表，找id相同项的信息。 办法1：大文件排序。文件切分，多路归并排序。之后滑动窗口。办法2：两个文件都切分：[a,b,c]，[d, e, f]。分别比较 ad、ae、af、...。设计模式单例模式工厂模式Redis懂吗？只用过，不懂。其它无锁队列复盘：一面挂。自己简历写错了。要改简历！注意：简历上的内容一定要完全搞懂，起码能说出来，且...

一、面试题1.先介绍一下自己2.看你简历上写了一个在线视频弹幕系统，在这个项目中，你负责的模块3.看你项目中用到了ElasticSearch，搜索类型是什么，如何实现搜索功能的答：跨实体建立索引，给关键字段设置索引，进行模糊查询功能，举例了elasticsearch在项目中的使用4.为什么用ElasticSearch，说说你对ElasticSearch的了解，ElasticSearch的特点ElasticSearch适用于海量数据是搜索场景，存储数据用的是Json格式存储，相比于mysql数据检索效率比较快5.对EalsticSearch底层分词的原理，分词流程暂时还没有深入了解6.Redis在你项目中使用的类型？string类型，举例了项目中使用的场景7.Java多线程的实现方式？四种实现方式8.说一下多线程安全问题是什么？多次线程在并发场景下对共享资源的争抢，如果没有对线程进行同步操作，可能会导致结果错误9.Callable接口跟Runable接口的区别一个有返回值，一个没有返回值10.如果解决线程安全问题，说一下最常见的解决方法，说一下常用的锁？乐观锁、悲观锁   吟唱，没吟唱完就继续下一个问题了11.介绍一下简历上的电商项目demo项目12.场景题：订单超时取消功能的实现？没有深入了解过，但是我理解可以使用定时器或者基于redis实现13.Linux滚动查看日志的命令tail命令二、反问14.有没有什么想问的14.1.上面的场景题目是如何实现的？定时器、redis的订阅发布模式延迟队列、消息中间件的延迟队列14.2.公司部门的业务主要是做什么的？主要是做女装业务的电商系统开发，进销存管理14.3.您觉得我刚刚回答的整体情况如何？java基础还是非常不错的，特别是对锁的理解，整体还是挺不错的感觉面试官还是挺满意的，不知道这个公司有没有二轮技术面的三、总结：面试时长大概17分钟，感觉面试官还是挺好的负责模块的介绍多线程的实现方式需要再熟悉一下，比如Callable创建线程的方式流利程度对项目的熟悉程度还有录屏的技巧

50亿不重复的数据---2G内存--找中位数int范围是2^31--2*10^9, 没有符号的貌似也不够5*10^9, 假设是int，4字节， 2*10^10B~KMG---20G左右！！！注意是2^30所以只需要分成10个即可，按照最高位0000-1111 这样子写入到16个文件，并且计算每个文件的数量随后只需要排序，寻找中位数同理快速判断是否存在，也是Bitmap或者按照位进行文件分类- 业务人员在跳转瞬间更新最低价，如何解决列表页最低价与详情页最低价的一致性要解决列表页最低价与详情页最低价的一致性问题，可以考虑以下几种方案：异步更新：当业务人员跳转到详情页时，可以异步更新最低价信息。在用户进入详情页之前，可以在列表页中设置一个标记，表示最低价正在更新中。当异步更新完成后，再将最新的最低价信息更新到详情页中。缓存更新：当业务人员跳转到详情页时，可以直接从缓存中获取最新的最低价信息。如果最低价信息已经过期，则可以重新从数据库中读取最新的最低价信息，并将其更新到缓存中。定时更新：可以设置一个定时任务，定时从数据库中读取最新的最低价信息，并将其更新到缓存中。当用户访问详情页时，直接从缓存中获取最新的最低价信息，以保证列表页和详情页的最低价信息一致。需要注意的是，以上方案仅是一些思路，具体实现方式需要根据具体的业务需求和系统架构来确定。同时，在实现方案时，还需要充分考虑系统的性能和安全性问题，避免方案实现过程中出现安全漏洞或系统崩溃等问题。如何防止在活动时间段外用户购买折扣商品订单审核：在用户购买商品后，可以设置一个订单审核流程，对用户购买的商品进行审核，确保订单符合系统规定的条件。例如，审核用户购买的商品是否在活动时间内、是否满足活动的购买条件等。如果订单审核不通过，则可以拒绝用户的购买请求。队列处理：可以将用户购买请求放入一个队列中，等到活动时间段开启时再处理队列中的请求。这样可以确保只有在活动时间段内的用户购买请求才会被处理，而在活动时间段外的请求则会被放置在队列中等待。系统配置：可以在系统中设置一个活动时间段的配置项，只有在活动时间段内购买的用户才能享受折扣优惠，而在活动时间外购买的用户无法享受优惠。可以通过对系统配置的修改来限制用户在活动时间段外购买折扣商品。

半小时，围绕简历问的使用appium时出现的问题（xpath频繁更改怎么办）抓包工具，如何改数据包中的返回值，200改为404git回退命令linux从远程服务器上下载文件的命令--scp（rsync用于linux系统之间）解释排序算法中稳定的概念1亿个数，取最小的5个--海量数据TopK，分而治之+堆结构堆是什么数据结构--完全二叉树，且某个节点的值总是不大于或不小于其父节点的值解释动态规划的概念--通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法场景题：狼吃了羊会变成羊，问现在100只狼1只羊，狼敢不敢吃羊？--偶数只狼的话不敢吃电灯泡测试啥场景题：4个开关对应4个灯泡，开关在门...

八股实在背的太差，所以回答情况也很糟糕，不过都是比较基础的八股，怪我自己没好好准备，这里对问题和答案进行整理1.项目部署到阿里云上，可以看一下吗？过期了，只是为了体验部署服务器的过程。2.HashMap在JDK1.7和1.8的区别有什么？首先是结构的不同，在1.7中，hashmap是由数组和链表构成，1.8是由数组，链表，红黑树构成。第二个体现在put()过程的不同，在put的时候，1.7中采用的是头插法，1.8采用的是尾插法；另外是扩容的不同，1.7的时候，只要key寻址的位置上为空，不管元素个数有没有超过阈值，都直接插入当前的位置上，而1.8中，只要超过了阈值，无论有没有元素，都会进行扩容...