首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
大数据的奇妙冒险
大数据开发工程师
关注
已关注
取消关注
本人于2024年3月5日22点20分更新此篇文章,请各位审阅,望周知
@大数据的奇妙冒险:
大数据开发面试题之Hive篇
hive的架构hive外部表和内部表的区别内部表的数据由hive管理,且存储在hive.metastore.warehouse.dir配置下的路径中;外部表的数据由HDFS存储,路径可以自己指定;删除表时,内部表会把元数据及真实数据删除;外部表不删除真实数据。你用过hive哪些窗口函数可参考:面试官:你用过哪些窗口函数一般用什么文件格式可参考:面试官:“你们实际生产中hive用什么文件格式和压缩方式”Hive中order by,sort by,distribute by和cluster by的区别1、order by:对数据进行全局排序,只有一个reduce工作2、sort by:在数据进入reduce前完成排序,一般和distribute by使用,且distribute by写在sort by前面。当mapred.reduce.tasks=1时,效果和order by一样3、distribute by:类似MR的Partition,对key进行分区,结合sort by实现分区排序4、cluster by:当distribute by和sort by的字段相同时,可以使用cluster by代替,但cluster by只能是升序,不能指定排序规则。说下对Hive桶的理解?桶是对数据某个字段进行哈希取值,然后放到不同文件中存储。数据加载到桶表时,会对字段取hash值,然后与桶的数量取模。把数据放到对应的文件中。物理上,每个桶就是表(或分区)目录里的一个文件,一个作业产生的桶(输出文件)和reduce任务个数相同。为什么要使用 Hive? hive 的优缺点?Hive的作用是什么?这几个问题比较类似,实际上就是要你回答 hive 的特点:提供类SQL查询,容易上手,开发方便;封装了很多方法,尽量避免了开发MapReduce程序,减少成本;适用于处理大规模数据,小数据的处理没有优势;执行延迟较高,适合用于数据分析,不适合对时效性要求较高的场景。说下Hive是什么? 跟数据库区别?hive 是用于大数据分析处理的工具,存储基于 HDFS,计算基于 MapReduce 或 Spark,提供类 SQL 查询。hive 除了可以通过类 SQL 查询这一点和数据库有点关系外,其它基本没啥关联。数据库支持事务,可读可写;而hive一般不支持事务(高版本除外),一般用于读多写少的情况,不建议改动数据,因为数据存储在HDFS中,而HDFS的文件不支持修改;hive延迟比较大,因其底层是MapReduce,执行效率较慢。但当数据规模较大的情况下,hive的并行计算优势就体现出来了,数据库的效率就不如hive了;hive不支持索引,查询的时候是全表扫描,这也是其延迟大的原因之一。Hive内部表和外部表的区别?外部表在建表的时候需要加关键字 EXTERNAL;创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变;删除内部表会直接删除元数据【metadata】及存储数据,删除外部表仅仅删除元数据,HDFS上的文件不会被删除;内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】,外部表数据存储位置由用户自己决定。Hive建表语句CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)][CLUSTERED BY (col_name, col_name, ...)[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS][ROW FORMAT row_format][STORED AS file_format][LOCATION hdfs_path][TBLPROPERTIES (property_name=property_value, ...)][AS select_statement | like⑩ table_name]Hive数据倾斜以及解决方案参考:浅谈数据倾斜的原因及解决办法Hive的三种自定义函数是什么?它们之间的区别是什么?UDF:用户自定义函数,user defined function。一对一的输入输出。UDTF:用户自定义表生成函数。user defined table-generate function.一对多的输入输出。UDAF:用户自定义聚合函数。user defined aggregate function,多对一的输入输出比如count sum等。Hive分区和分桶的区别分区针对的是数据的存储路径;分桶针对的是数据文件。参考:hive从入门到放弃(四)——分区和分桶Hive的执行流程1.(执行查询操作)Execute Query命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序,如JDBC、ODBC等)以执行。2.(获取计划任务)Get PlanDriver借助查询编译器解析查询,检查语法和查询计划或查询需求3.(获取元数据信息)Get Metadata编译器将元数据请求发送到Metastore(任何数据库)。4.(发送元数据)Send MetadataMetastore将元数据作为对编译器的响应发送出去。5.(发送计划任务)Send Plan编译器检查需求并将计划重新发送给Driver。到目前为止,查询的解析和编译已经完成6.(执行计划任务)Execute PlanDriver将执行计划发送到执行引擎。7.(执行Job任务)Execute Job在内部,执行任务的过程是MapReduce Job。执行引擎将Job发送到ResourceManager,ResourceManager位于Name节点中,并将job分配给datanode中的NodeManager。在这里,查询执行MapReduce任务.7.1.(元数据操作)Metadata Ops在执行的同时,执行引擎可以使用Metastore执行元数据操作。8.(拉取结果集)Fetch Result执行引擎将从datanode上获取结果集;9.(发送结果集至driver)Send Results执行引擎将这些结果值发送给Driver。10.(driver将result发送至interface)Send ResultsDriver将结果发送到Hive接口Hive SQL优化处理优先过滤,过滤后的结果集再进行处理;count(distinct) 改成 sum + group by 的组合;大小表注意 MapJoin;使用分区;注意数据倾斜相关的问题,可参考:Hive的存储引擎和计算引擎存储:HDFS; 计算引擎:MR 或 SparkHive的文件存储格式都有哪些?参考:hive从入门到放弃(五)——数据存储格式介绍下知道的Hive窗口函数,举一些例子参考:通俗易懂:窗口函数 | 全是案例Hive的union和union all的区别?Union:将多个结果合并为一个,且结果去重且排序Union all:将多个结果合并为一个,且结果不去重不排序Hive的join操作原理?在 Map 阶段将 on 的字段设为 key,然后将选择的字段集作为 value; 在 Reduce 阶段将相同 key 值的数据分发到同一个 Reducer。Hive如何优化join操作若有大量 null key,则过滤掉或者赋随机值;若大小表 join,可使用 MapJoin;若两张大表 join ,可将倾斜的 key 过滤出来单独 join,则会分散到多个 task 进行 join 操作,最后再进行 unionHive的mapjoinmapjoin 会将小表数据加载到内存中,在 Map 阶段完成 join 操作。Hive有哪些保存元数据的方式,都有什么特点? 内嵌模式:将元数据保存在本地内嵌的derby数据库中,内嵌的derby数据库每次只能访问一个数据文件,也就意味着它不支持多会话连接。 本地模式:将元数据保存在本地独立的数据库中(一般是mysql),这可以支持多会话连接。 远程模式:把元数据保存在远程独立的mysql数据库中,避免每个客户端都去安装mysql数据库。 内存数据库derby,占用空间小,但是数据存于内存,不稳定;mysql数据库,数据存储模式可自己设置,持久化好,查看方便。Hive SOL实现查询用户连续登陆,讲讲思路参考:面试官:“如何用 SQL 查询每个用户最大连续登录日期?”row_number,rank,dense_rank的区别row_number 表示行数,每行都是前面基础加1;rank 是跳跃排序,有两个第二名时接下来就是第四名(同样是在各个分组内)dense_rank 是连续排序,有两个第二名时仍接下来即使第三名。Hive count(distinct)有几个reducer,海量数据会有什么问题如果没有 group by 就是一个 Reducer,海量数据用一个reducer执行效率过慢,甚至造成内存溢出。开窗函数中加Order By和不加Order By的区别?当为排序函数,如row_number(),rank()等时,over中的order by只起到窗口内排序作用。当为聚合函数,如max,min,count等时,over中的order by不仅起到窗口内排序,还起到窗口内从当前行到之前所有行的聚合,不加则整个分区聚合。parquet文件优势可参考:hive从入门到放弃(五)——数据存储格式Hive里metastore是干嘛的?客户端连接 metastore,metastore 再去连接 MySQL 存取元数据。使得多个客户端可以同时连接,且这些客户端无需知道 MySQL 数据库的用户名密码,只需连接 metastore 服务即可。以上的 hive 篇先总结到这,如果觉得文章对你有帮助,可以点个小赞加收藏。如果有误,欢迎大家指正,谢谢!
点赞 7
评论 2
大数据学习交流
全部评论
推荐
最新
楼层
滴滴
校招火热招聘中
官网直投
相关推荐
太昊
05-13 10:04
药品研发
24届春招offer求选择
春招已经到了快结束的时候,希望业内人士和各位大佬帮忙看下offer选择,留下你宝贵的意见。 引流:字节跳动,海康威视,深信服,腾讯,阿里巴巴,拼多多,滴滴,京东,小米,大疆,美团,好未来,小红书,华为,简历,offer,面试,面经,三方,国企,央企,秋招,应届生,求职,比亚迪,建设银行,工商银行,百度,中兴,邮储、中行、建行、工行、建行、光大、招商银行、科大讯飞、蔚来、新华三、京东方、容知日新、长鑫存储、阳光电源、中国移动、中国电信、中国联通,中兴,虾皮,网易,腾讯音乐,京东,虎牙,b站,bigo,思科,亚马逊,荣耀,小米,联想,tplink,第四范式,米哈游,携程,旷视,美的...
点赞
评论
收藏
转发
红警月亮叄
05-08 11:35
华南理工大学 机械类
盲审
华工机械今年挂的人好多,因为没写创新点我BC,10号二审,很担心延毕,万一那啥了签的工作也没了好慌
点赞
评论
收藏
转发
coucoumomo
04-20 10:49
已编辑
太原理工大学 电子信息类
小小B站,轻松拿下
#哔哩哔哩# 标题党一下 其实一点也不轻松呜呜呜鼠鼠暑期实习的第一个offer前面面了腾讯美团全挂了谢谢小破站!希望大家早日找到心仪的工作~
点赞
评论
收藏
转发
万木春寒江雪
04-13 15:09
南京邮电大学 电子信息类
还得是华为遥遥领先
如同他甚至想让我直接找工作 #华为开奖那些事# #华为求职进展汇总#
华为开奖那些事
华为求职进展汇总
点赞
评论
收藏
转发
泥电第一华孝子
05-10 16:37
电子科技大学 计算机类
华汁~ 球球了,快点开
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
全站热榜
1
...
携程oc了
1.7W
2
...
兄弟们之间就别卷了吧,选自己喜欢的offer得了
1.1W
3
...
美团-Java后端-平台技术部-一面凉经(复活赛)
1.1W
4
...
【话术建议】求职者和企业的互骗话术?
6644
5
...
快手二面g
4771
6
...
被告诉基本内定转正了,此时我的心情
4353
7
...
字节抖音电商后端日常实习一二三面已oc
3935
8
...
31天勇闯盲审(附盲审经验
3811
9
...
【进面核心】如何紧盯个人简历与企业需求的契合度
3680
10
...
滴滴秋储后端(秒挂)
3222
正在热议
#
牛客帮帮团来啦!有问必答
#
695789次浏览
11383人参与
#
你的秋招进展怎么样了
#
497910次浏览
13394人参与
#
如何缓解入职前的焦虑
#
33135次浏览
339人参与
#
找工作时遇到的神仙HR
#
176124次浏览
1735人参与
#
如何写一份好简历
#
257157次浏览
3891人参与
#
许愿池
#
76655次浏览
1537人参与
#
找工作,你会甘心进小厂还是猛冲大厂
#
34413次浏览
350人参与
#
通信硬件人笔面经互助
#
105519次浏览
2142人参与
#
无实习如何秋招上岸
#
221916次浏览
3480人参与
#
互联网公司评价
#
78525次浏览
1079人参与
#
投了多少份简历才上岸
#
56188次浏览
945人参与
#
市场营销面经
#
4276次浏览
121人参与
#
产品人求职现状
#
50294次浏览
742人参与
#
面试中的破防瞬间
#
81847次浏览
1009人参与
#
软件开发投递记录
#
466634次浏览
7126人参与
#
23届的你们都什么时候入职?
#
84327次浏览
736人参与
#
互联网公司爆料
#
36132次浏览
367人参与
#
科大讯飞求职进展汇总
#
36248次浏览
369人参与
#
你觉得今年秋招难吗
#
300563次浏览
5669人参与
#
通信硬件薪资爆料
#
193225次浏览
1717人参与
牛客网
牛客企业服务