5.15 上海某小厂-暑假实习-面试

上海小厂面试，大数据开发，我以为是数仓开发，结果是Spark开发，问的全是Spark问题，被搞自闭了。

自我介绍

park中RDD的Task数量由什么决定？

Spark 怎么实现算子中的变量共享？

Spark 共享变量的使用条件? 

> 可序列化???

连接池实例是在算子内 还是在算子外?

>我一开始没想好，先回答了连接池的作业：是为了连接的复用，将可能会用到的连接通道给提前打开，存在大量通信请求场景时，可以用到连接池来优化整个通信过程的效率。
>
>我回答是 连接池实例应该在算子外创建和管理，这样算子共享相同的连接池。
>
>但面试官说让我好好想想。然后问我 如果进行网络连接，是一台电脑连接还是多台连接？应该是在算子内，通常是因为数据不能或不应当在算子之间共享，或者存在连接泄漏的风险。例如，在使用HBase时，连接器必须在算子内实例化连接池中的连接，以确保每个算子在处理数据时都能获得可用的连接。

还是Spark相关的问题，没听记住

习惯用的语言？Scala熟练不？对Scala有什么看法？

为什么问我的都是Spark内容，我实习的工作也是用Spark？

>我简历上不敢写 熟悉Spark，只是在一个项目上用了Spark，结果还是遭不住。

为什么选择Spark来处理数据？因为非结构化的数据多吗？

部门业务？公司规模？

>开发组十多个人，写Spark的只有他一个，要找一个实习生和他一起做

我能实习能学到什么？

> 主要是Spark和Scala技能的提升