欢聚二面大数据应用面经

记几个记得的问题
1、HDFS在写入过程中如何保证packet传输的一致性?
答:提了块写完报告NN,数据队列和确认队列,宕机应该怎么办。但都不是面试官要的,貌似是每个packet传输完如何确认,跟谁报告,怎么报告,要回去翻下权威手册了。
2、spark在RDD转换时如何确认数据块的来源?
答:分RDD由不同分区组成,每个分区对应一个数据块,通过分区索引区分数据块。 但面试官好像不太满意。
3、hive使用spark做计算引擎时,sql语句的转换过程 和mr做计算引擎的区别?
答的很不理想,前面说了hivesql转换为mr的过程,面试第一次遇到这个问题,一下子就蒙了,背八股文的下场。
4、基于yarn集群的任务提交过程
答:源码不拉不拉。
    java一点没问,面完说组件有些弱,还安慰一句不是说淘汰了,还会横向比较的,感觉凉了。
#欢聚集团##秋招##面经##校招##大数据开发#
全部评论
第一个我感觉就是校验和,chunk是最小单位,这个校验正确就可以保证packet正确 第二个应该是transfomation分为两类,不需要shuffle的不需要考虑这个问题,需要shuffle的下游task会通过心跳机制从appMaster那里得到上游task的block信息,然后再说一下shuffleRdd是怎么存储的,应该是shuffle_id+map_id+reduce_id确定一个rdd 不过我感觉楼主是被故意针对了,想让你过不会问那么难,除非是做框架二次开发
2 回复 分享
发布于 2022-01-19 08:54
这就是不想让过
1 回复 分享
发布于 2021-09-24 07:19
我去 有点深
点赞 回复 分享
发布于 2022-08-09 16:05
第一问应该要说到packet的chuncksum吧,校验位
点赞 回复 分享
发布于 2022-03-21 09:55
校招吗,怎么框架问这么思呀
点赞 回复 分享
发布于 2022-03-14 20:54
这个感觉是我看到过的最细节的
点赞 回复 分享
发布于 2021-11-05 08:21
我感觉我找不到工作了
点赞 回复 分享
发布于 2021-10-06 13:37
看描述,第一个感觉和zk有关,或者HDFS的JournalNode节点应该也行 第二个spark应该和血缘关系有关 第三个还真不知道,学习了😂
点赞 回复 分享
发布于 2021-09-25 13:22
楼主是投递哪里的岗位的?
点赞 回复 分享
发布于 2021-09-24 16:47
基于yarn的源码提交流程,这个点楼主说了rpc相关的问题吗?如何体现你看了源码呢
点赞 回复 分享
发布于 2021-09-24 07:21
我面字节一个架构部门也是,全程问各种组件细节,被虐的很惨😭
点赞 回复 分享
发布于 2021-09-23 22:51
全是问组件的东西吗 我以为一面都是八股二面可能是问项目多
点赞 回复 分享
发布于 2021-09-23 19:25
感觉权威手册上也没咋说啊
点赞 回复 分享
发布于 2021-09-23 17:18

相关推荐

争当牛马还争不上
码农索隆:1.把简历改哈 2.猛投,狠投 3.把基础打牢 这样你在有机会的时候,才能抓住
点赞 评论 收藏
分享
避坑恶心到我了大家好,今天我想跟大家聊聊我在成都千子成智能科技有限公司(以下简称千子成)的求职经历,希望能给大家一些参考。千子成的母公司是“同创主悦”,主要经营各种产品,比如菜刀、POS机、电话卡等等。听起来是不是有点像地推销售公司?没错,就是那种类型的公司。我当时刚毕业,急需一份临时工作,所以在BOSS上看到了千子成的招聘信息。他们承诺无责底薪5000元,还包住宿,这吸引了我。面试的时候,HR也说了同样的话,感觉挺靠谱的。于是,我满怀期待地等待结果。结果出来后,我通过了面试,第二天就收到了试岗通知。试岗的内容就是地推销售,公司划定一个区域,然后你就得见人就问,问店铺、问路人,一直问到他们有意向为止。如果他们有兴趣,你就得摇同事帮忙推动,促进成交。说说一天的工作安排吧。工作时间是从早上8:30到晚上18:30。早上7点有人叫你起床,收拾后去公司,然后唱歌跳舞(销售公司都这样),7:55早课(类似宣誓),8:05同事间联系销售话术,8:15分享销售技巧,8:30经理训话。9:20左右从公司下市场,公交、地铁、自行车自费。到了市场大概10点左右,开始地推工作。中午吃饭时间大约是12:00,公司附近的路边盖饭面馆店自费AA,吃饭时间大约40分钟左右。吃完饭后继续地推工作,没有所谓的固定中午午休时间。下午6点下班后返回公司,不能直接下班,需要与同事交流话术,经理讲话洗脑。正常情况下9点下班。整个上班的一天中,早上到公司就是站着的,到晚上下班前都是站着。每天步数2万步以上。公司员工没有自己的工位,百来号人挤在一个20平方米的空间里听经理洗脑。白天就在市场上奔波,公司的投入成本几乎只有租金和工资,没有中央空调。早上2小时,晚上加班2小时,纯蒸桑拿。没有任何福利,节假日也没有3倍工资之类的。偶尔会有冲的酸梅汤和西瓜什么的。公司的晋升路径也很有意思:新人—组长—领队—主管—副经理—经理。要求是业绩和团队人数,类似传销模式,把人留下来。新人不能加微信、不能吐槽公司、不能有负面情绪、不能谈恋爱、不能说累。在公司没有任何坐的地方,不能依墙而坐。早上吃早饭在公司外面的安全通道,未到上班时间还会让你吃快些不能磨蹭。总之就是想榨干你。复试的时候,带你的师傅会给你营造一个钱多事少离家近的工作氛围,吹嘘工资有多高、还能吹自己毕业于好大学。然后让你早点来公司、无偿加班、抓住你可能不会走的心思进一步压榨你。总之,大家在找工作的时候一定要擦亮眼睛,避免踩坑!———来自网友
qq乃乃好喝到咩噗茶:不要做没有专业门槛的工作
点赞 评论 收藏
分享
05-25 10:45
门头沟学院 Java
Frank_zhan...:没实习一个项目肯定不够,可以再做一个轮子,技术栈再补一个mq,微服务,整体再换个简历模板,暑期尽量再找一个日常实习
无实习如何秋招上岸
点赞 评论 收藏
分享
评论
8
24
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务