百度数据开发实习面经

1.自我介绍2.用过hive吗3.hive内部表外部表4.hive动态分区5.动态分区灵活性高噶，结束他好像很忙，直接到此结束了，但既然还要我问他一些问题，比如进公司谁带我，部门情况，应该不是不满意吧……

数据开发平台 统一计算平台   MaxCompute：主要服务于海量数据的存储和计算 ，提供完善的数据导入方案， 以及多种经典的分布式计算模型，提供海量数据仓库的解决方案，能够更快速地解决用户的海量数据计算问题，有效降低企业成本，并保障数据安全。   MaxCompute客户端：包括Web、SDK、CLT、IDE等形式完成 Project 管理、数据同步、任务调度、报表生成等常见操作。   MaxCompute接入层：提供HTTP服务、Cache、负载均衡，实现用户认证和服务层面的访问控制。   MaxCompute控制层：实现用户空间和对象的管理、命令的解析与执行逻辑、数据对象的访问控制与授...

数据开发-直播业务突然被捞1.自我介绍2.项目是根据什么业务场景来划分的3.对Hadoop的理解4.讲一下MapReduce的执行过程5.shuffle的必要性6.维度建模是怎么建模的，事实表和维度表有什么区别7.星型模型和雪花模型区别8.讲一下对维度的理解，如果从视频和观看时间来看，会怎么去区分事实和维度9.手撕1)观看不同视频个数前五2)观看不同视频个数大于五十的女生用户中，视频完播率前几的用户，完播率等于视频播完的个数/观看视频总个数讲代码过程又问了一点，数据去重的方法，count distinct 和group by区别

📍面试公司：虾皮🕐面试时间：6.30 一面 7.4 二面 7.8感谢信💻面试岗位：大数据开发❓面试问题：主要是实习拷打数仓数据流向，具体业务介绍，业务接口跟数据的用户讲一个具体的业务，体现所用的技术栈从问题2深入，涉及到并发场景不可重复读怎么解决大数据技术栈，Spark，怎么用的，讲了怎么优化实际任务（数据倾斜/Shuffle优化）数据倾斜这里让描述下快排当前业务有没有写错数据的情况，如果当前数仓写到Kafa写错了，该怎么重新写入？比如HDFS这就错了，但写到kafa->业务表已经出问题了，怎么解决回答主要考虑一致性和重写时候服务是否可用如果让你从具体Kafka topic消费到入...