荣耀大数据开发凉面面经

👥 面试题目hadoop的三个核心组件，以及hdfs的读写原理hive的内部表与外部表有什么区别hive里面的数据倾斜是什么？怎么去处理？该怎么去预防？数据仓库的分为几层？每一层是做什么的？是根据什么进行分层的？hive里面的窗口函数有没有用过？rank(),,dense_rank(),row_number()这三个有什么区别？hive里面数据表合并是怎么合并的？​hive里面的列转行是怎么转的？

公司：联易融岗位：数据分析师工作职责1、负责研发面向供应链金融场景的核心算法模型，如风险预测，潜客挖掘，关联图谱等；2、与团队成员一起负责以上能力的产品化工作；3、参与以上能力的应用落地工作。工作要求1、硕士或以上学历，统计学、计算机、数学、经济学、计量心理学、人工智能等相关专业；2、熟练掌握Hive\SQL\Hadoop，熟练使用JAVA/R/SAS/Python等编程语言，熟悉大规模数据挖掘、机器学习、自然语言处理(NLP)；3、可独立完成数据挖掘工作，包括数据预处理、特征选取、建模、验证、调优、结论陈述等各环节；4、对数据敏感，具备良好的逻辑思维能力、沟通技巧、组织沟通能力、团队精神以及...

Gaussdb是什么数据库Gaussdb和Doris有什么区别数据湖和数据仓库有什么区别hudi中你们用的哪种表类型hudi怎么实现实时数据更新的HIVE有哪些模块知道HIVE的thrift吗，有什么好处生产中是用哪种方式连接HIVE的，会用jdbc连接吗知道哪些spark的运行模式yarn-client和yarn-cluster的区别是什么，从中选一个运行模式具体介绍下select a,sum(b) where c>0 group by a。spark中是怎么实现的，你觉得这个语句什么情况下会出现数据倾斜，怎么优化它spark中小文件你怎么处理的我想将数据只写入到10个文件里面，怎么处理，distribute by cast(rand()*10 as bigint)怎么将a字段的值一样的数据写入到同一个文件，并最后只生成5个文件 distribute by mod(a,5)Spark中的Job、stage、task是什么关系spark的Job可以并行执行吗，stage可以并行执行吗，什么情况下stage可以并行执行，举个stage并行执行的例子Flink怎么处理积压的Flink的Exect-Once怎么实现的java的内存空间分哪些怎么让栈空间溢出，怎么让元空间溢出工作中会遇到内存溢出的问题吗内存溢出了你会怎么去分析知道哪些序列化方式，Serializable和protobufprotobuf与Serializable序列化的区别了解数据库连接池吗，是什么原理了解线程池吗，介绍下你知道的SpringBoot相对于Spring MVC的优点Spring中的注解了解哪些数据库的事务知道吗事务的隔离级别有哪些，默认是那种隔离级别你觉得你们公司目前有哪些方面可以改进的，比如工作上的改进、平台上的改进你工作中遇到了哪些难题，怎么解决的作为你的同事，你觉得你能带来什么好处你最近有去学习什么新东西吗，从中学到了什么为什么想来我司所在城市你未来的职业规划是什么#社招面经#

        第一次记得接触到大数据是印象是海量数据，类型巨大，数据处理速度快，慢慢的自己也从不认识hadoop也到了熟练的写着处理数据的sql(hsql sparksql flinksql clickhousesql....)         突然意识到，数据开发sql语言工作占比率高达60%，其他时间可能就是讨论讨论需求口径啥的，我感觉是不是有必要学点有技术含量的东西？ 可能这就是一位很多牛马打工人的一线想法吧。         其实，我并不认为一直写sql是一件坏事，...