百度数据开发实习面经

视频面，共计1h1. 自我介绍2. 项目中的难点  答：我实时和离线都各介绍了一个3. 日常需求的开发，是怎样的一个流程 答：从业务方提出需求->数仓的建设分层->上线4. hive或者spark日常调优的一些参数  答：我这里列举的主要是数据倾斜方面的spark和hive5. 我还想介绍row_number()倾斜的参数，面试官问我用过哪些窗口函数？ 答：row_number、rank、dense_rank6. 区别是什么？ 答：row_number 是 123 rank是11115 dense_rank是 111127. 如果业务方说要绘制个标签画像，你会提取哪些数据给他 答：有些乱答了，这个不咋会8. coding：6道题，第1道题是最大播放量及分区播放量所占比例 2道题是次日登录 最后一道题包含4个小问，topk、最大分区及其播放量、炸裂、正则反问：1. 面试官评价：挺不错的（第一次收到正面评价）2. 业务部门主要干啥3. 实习生主要干啥其他的记不太起来了

1.你熟悉sql吗2.sql表关联有哪些3.join分类4.case when了解吗5.开窗函数中的排序函数6.问项目7.问比赛8.问几号入职9.口头offer电话面，问的挺简单的，又口头发offer，有点快，内心慌慌的

📍面试公司：虾皮🕐面试时间：6.30 一面 7.4 二面 7.8感谢信💻面试岗位：大数据开发❓面试问题：主要是实习拷打数仓数据流向，具体业务介绍，业务接口跟数据的用户讲一个具体的业务，体现所用的技术栈从问题2深入，涉及到并发场景不可重复读怎么解决大数据技术栈，Spark，怎么用的，讲了怎么优化实际任务（数据倾斜/Shuffle优化）数据倾斜这里让描述下快排当前业务有没有写错数据的情况，如果当前数仓写到Kafa写错了，该怎么重新写入？比如HDFS这就错了，但写到kafa->业务表已经出问题了，怎么解决回答主要考虑一致性和重写时候服务是否可用如果让你从具体Kafka topic消费到入...

【岗位名称】大数据开发工程师（校招）【岗位职责】 1、负责字节跳动电商相关业务数据仓库的开发，建设电商数据中台；2、基于Hive/Flink等平台建设数据仓库，实时数仓建设，进行ETL开发；3、负责大数据能力在产品功能上的落地，推动产品数据化和智能化，为业务赋能；4、抽象业务逻辑，构建行业领先的大数据中台。【职位要求】1、熟悉数据仓库实施方法论、深入了解数据仓库体系，并支撑过实际业务场景；2、熟练使用Hadoop及Hive，熟悉SQL、Java、Python等编程语言；3、善于沟通，对业务敏感，能快速理解业务背景，具备优秀的技术与业务结合能力。4、工作地点：北京/上海/杭州