WLvae level
获赞
1481
粉丝
328
关注
85
看过 TA
6929
大连汽车职业技术学院
2024
大数据开发工程师
IP属地:辽宁
暂未填写个人简介
私信
关注
上海小厂面试,大数据开发,我以为是数仓开发,结果是Spark开发,问的全是Spark问题,被搞自闭了。自我介绍park中RDD的Task数量由什么决定?Spark 怎么实现算子中的变量共享?Spark 共享变量的使用条件? > 可序列化???连接池实例是在算子内 还是在算子外?>我一开始没想好,先回答了连接池的作业:是为了连接的复用,将可能会用到的连接通道给提前打开,存在大量通信请求场景时,可以用到连接池来优化整个通信过程的效率。>>我回答是 连接池实例应该在算子外创建和管理,这样算子共享相同的连接池。>>但面试官说让我好好想想。然后问我 如果进行网络连接,是一台电脑连接还是多台连接?应该是在算子内,通常是因为数据不能或不应当在算子之间共享,或者存在连接泄漏的风险。例如,在使用HBase时,连接器必须在算子内实例化连接池中的连接,以确保每个算子在处理数据时都能获得可用的连接。还是Spark相关的问题,没听记住习惯用的语言?Scala熟练不?对Scala有什么看法?为什么问我的都是Spark内容,我实习的工作也是用Spark?>我简历上不敢写 熟悉Spark,只是在一个项目上用了Spark,结果还是遭不住。为什么选择Spark来处理数据?因为非结构化的数据多吗?部门业务?公司规模?>开发组十多个人,写Spark的只有他一个,要找一个实习生和他一起做我能实习能学到什么?> 主要是Spark和Scala技能的提升
0 点赞 评论 收藏
转发
0 点赞 评论 收藏
转发
0 点赞 评论 收藏
转发
面试时间:1h 10min自我介绍实习工作的一些问题项目相关的一些问题Java基本数据类型?String为什么不是基本数据类型?能不能继承?如果需要频繁地拼接字符串用什么?为什么?StringBuffer、StringBuilder 的区别?Java的集合类了解吗?都有那些?它们的继承关系是怎么的?讲讲HashMap?HashMap多线程下怎么办?多线程的HashMap它的原理?并发编程的问题,听的有点懵,说不会,他又换了一个,还是不会,尴尬JVM内存结构?类加载机制?线程池了解吗?介绍一下设计模型用过那些?在哪里用过?线程和进程的区别?我看你学过python,python里面的协程和进程线程有什么区别吗?MapReduce原理?Spark为什么比MaReduce快?现在还有用MapReduce的吗?比起Spark,MapReduce的应用场景?Spark任务执行的流程?宽窄依赖?HDFS是如何保证数据可靠的?机房断网,造成脑裂怎么办?Flume构成?你在项目里是怎么用的?Kafka的构成?多个partition,怎么能保证全局有序?回答可以设置一个partition,不知道其他方法,反问面试官。他说这是别人问他的,他也不知道,问问看我能不能知道....数据库和数据仓库区别?数仓为什么要分层?星型模型和雪花模型区别?维度表和事实表,介绍一下?SQL:给了一张用户登陆表,求每个日期用户的活跃数、7日留存用户、7日活跃留存率好像最后时间不够了,我还没写完,就让我说了一下思路反问:部门业务是什么实习生都做什么工作对实习生有什么要求总结:- 问了很多项目相关的问题,很细,我开始以为一面只会问八股,没怎么准备,猝不及防- 面试官说他不是这个部门的,似乎是后端开发的,问了不少Java 的八股,Java集合的内容很久没复习,忘得差不多了;并发编程是都没研究过- 第一次面试,有些紧张,NameNode和DateNode、线程和进程 这些嘴瓢都说乱了,面试官人挺好的,还在安慰我别紧张#我的实习求职记录##美团##大数据开发#
投递美团等公司10个岗位 我的实习求职记录 大数据求职圈
0 点赞 评论 收藏
转发
牛客网
牛客企业服务