2023-03-17 17:35 已编辑 西安交通大学 算法工程师 发布于陕西
关注
美团 大数据开发 暑期实习 一面
时长：1h
由于问题太多，分四类进行整理
0. 实习相关：之前有数据开发的实习经验，就问了之前工作有没有spark或者hivesql优化的经验；如何确保数据的有效性；实习公司数据存储格式（Parquet），还知道哪些数据存储格式
1. 大数据相关问题：为什么Spark比MR快；对Spark的了解；两个表join的优化方法（大小表join可以map-side join, join前过滤null值）；HDFS的读写流程；Spark shuffle的过程（不太了解，只讲了个大概）
2. java基础的问题：HashMap底层原理（链表+数组 & 红黑树）；又问了对红黑树的了解，能讲个大概原理就行，对细节要求不高
3. 数据库问题：数据库的索引的数据结构（这个不太了解）；ACID；数据三范式（1NF, 2NF, 3NF）
做题：
1. sql题：从成绩表中得到总成绩排名第三的学生id和成绩；将表中一列转换成一行(e.g. 表属性为[dt, col1, col2], 转换为[dt, key, value], 其中key为col1，value为col1列中所有数据)
2. 快速排序（快排出场率真的好高）
3. 海量数据题：从两个数据量50亿的文件中得到相同url（hash写到多个小文件+hashmap）
#面经# #大数据# #暑期实习#
由于问题太多，分四类进行整理
0. 实习相关：之前有数据开发的实习经验，就问了之前工作有没有spark或者hivesql优化的经验；如何确保数据的有效性；实习公司数据存储格式（Parquet），还知道哪些数据存储格式
1. 大数据相关问题：为什么Spark比MR快；对Spark的了解；两个表join的优化方法（大小表join可以map-side join, join前过滤null值）；HDFS的读写流程；Spark shuffle的过程（不太了解，只讲了个大概）
2. java基础的问题：HashMap底层原理（链表+数组 & 红黑树）；又问了对红黑树的了解，能讲个大概原理就行，对细节要求不高
3. 数据库问题：数据库的索引的数据结构（这个不太了解）；ACID；数据三范式（1NF, 2NF, 3NF）
做题：
1. sql题：从成绩表中得到总成绩排名第三的学生id和成绩；将表中一列转换成一行(e.g. 表属性为[dt, col1, col2], 转换为[dt, key, value], 其中key为col1，value为col1列中所有数据)
2. 快速排序（快排出场率真的好高）
3. 海量数据题：从两个数据量50亿的文件中得到相同url（hash写到多个小文件+hashmap）
#面经# #大数据# #暑期实习#
全部评论
想拿A他在迎接offer
门头沟学院 大数据开发工程师
兄弟是哪个部门的呀？
喝不完的咖啡
重庆邮电大学 大数据开发工程师
笔试五道题做出来几道？
Syyyy叶
京东科技_风险管理中心_算法应用
美团大数据和鸡架都不捞我 哭死 投后端搞鸡架被说能力不匹配
spider-man wjj
门头沟学院 大数据开发工程师
兄弟，有二面消息了没
想去淄博吃烧烤
门头沟学院 大数据开发工程师
请问海量数据题是要写代码吗？还是说个思路就可以呀？
我爱刷牛客
携程_数据仓库
hxd，笔试是什么题型分布啊？明天笔试
相关推荐
查看1道真题和解析
SHEIN希音公司福利 287人发布
