hive的架构hive外部表和内部表的区别内部表的数据由hive管理，且存储在hive.metastore.warehouse.dir配置下的路径中；外部表的数据由HDFS存储，路径可以自己指定；删除表时，内部表会把元数据及真实数据删除；外部表不删除真实数据。你用过hive哪些窗口函数可参考：面试官：你用过哪些窗口函数一般用什么文件格式可参考：面试官：“你们实际生产中hive用什么文件格式和压缩方式”Hive中order by，sort by，distribute by和cluster by的区别1、order by：对数据进行全局排序，只有一个reduce工作2、sort by：在数据进入reduce前完成排序，一般和distribute by使用，且distribute by写在sort by前面。当mapred.reduce.tasks=1时，效果和order by一样3、distribute by：类似MR的Partition，对key进行分区，结合sort by实现分区排序4、cluster by：当distribute by和sort by的字段相同时，可以使用cluster by代替，但cluster by只能是升序，不能指定排序规则。说下对Hive桶的理解？桶是对数据某个字段进行哈希取值，然后放到不同文件中存储。数据加载到桶表时，会对字段取hash值，然后与桶的数量取模。把数据放到对应的文件中。物理上，每个桶就是表(或分区）目录里的一个文件，一个作业产生的桶(输出文件)和reduce任务个数相同。为什么要使用 Hive? hive 的优缺点？Hive的作用是什么?这几个问题比较类似，实际上就是要你回答 hive 的特点：提供类SQL查询，容易上手，开发方便；封装了很多方法，尽量避免了开发MapReduce程序，减少成本；适用于处理大规模数据，小数据的处理没有优势；执行延迟较高，适合用于数据分析，不适合对时效性要求较高的场景。说下Hive是什么? 跟数据库区别?hive 是用于大数据分析处理的工具，存储基于 HDFS,计算基于 MapReduce 或 Spark，提供类 SQL 查询。hive 除了可以通过类 SQL 查询这一点和数据库有点关系外，其它基本没啥关联。数据库支持事务，可读可写；而hive一般不支持事务（高版本除外），一般用于读多写少的情况，不建议改动数据，因为数据存储在HDFS中，而HDFS的文件不支持修改；hive延迟比较大，因其底层是MapReduce，执行效率较慢。但当数据规模较大的情况下，hive的并行计算优势就体现出来了，数据库的效率就不如hive了；hive不支持索引，查询的时候是全表扫描，这也是其延迟大的原因之一。Hive内部表和外部表的区别?外部表在建表的时候需要加关键字 EXTERNAL；创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变；删除内部表会直接删除元数据【metadata】及存储数据，删除外部表仅仅删除元数据，HDFS上的文件不会被删除；内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。Hive建表语句CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)][CLUSTERED BY (col_name, col_name, ...)[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS][ROW FORMAT row_format][STORED AS file_format][LOCATION hdfs_path][TBLPROPERTIES (property_name=property_value, ...)][AS select_statement | like⑩ table_name]Hive数据倾斜以及解决方案参考：浅谈数据倾斜的原因及解决办法Hive的三种自定义函数是什么?它们之间的区别是什么?UDF：用户自定义函数，user defined function。一对一的输入输出。UDTF：用户自定义表生成函数。user defined table-generate function.一对多的输入输出。UDAF：用户自定义聚合函数。user defined aggregate function，多对一的输入输出比如count sum等。Hive分区和分桶的区别分区针对的是数据的存储路径；分桶针对的是数据文件。参考：hive从入门到放弃(四)——分区和分桶Hive的执行流程1.(执行查询操作)Execute Query命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序，如JDBC、ODBC等)以执行。2.(获取计划任务)Get PlanDriver借助查询编译器解析查询，检查语法和查询计划或查询需求3.(获取元数据信息)Get Metadata编译器将元数据请求发送到Metastore(任何数据库)。4.(发送元数据)Send MetadataMetastore将元数据作为对编译器的响应发送出去。5.(发送计划任务)Send Plan编译器检查需求并将计划重新发送给Driver。到目前为止，查询的解析和编译已经完成6.(执行计划任务)Execute PlanDriver将执行计划发送到执行引擎。7.(执行Job任务)Execute Job在内部，执行任务的过程是MapReduce Job。执行引擎将Job发送到ResourceManager,ResourceManager位于Name节点中，并将job分配给datanode中的NodeManager。在这里，查询执行MapReduce任务.7.1.(元数据操作)Metadata Ops在执行的同时，执行引擎可以使用Metastore执行元数据操作。8.(拉取结果集)Fetch Result执行引擎将从datanode上获取结果集；9.(发送结果集至driver)Send Results执行引擎将这些结果值发送给Driver。10.(driver将result发送至interface)Send ResultsDriver将结果发送到Hive接口Hive SQL优化处理优先过滤，过滤后的结果集再进行处理；count(distinct) 改成 sum + group by 的组合；大小表注意 MapJoin；使用分区；注意数据倾斜相关的问题，可参考：Hive的存储引擎和计算引擎存储：HDFS； 计算引擎：MR 或 SparkHive的文件存储格式都有哪些？参考：hive从入门到放弃(五)——数据存储格式介绍下知道的Hive窗口函数，举一些例子参考：通俗易懂：窗口函数 | 全是案例Hive的union和union all的区别？Union：将多个结果合并为一个，且结果去重且排序Union all：将多个结果合并为一个，且结果不去重不排序Hive的join操作原理?在 Map 阶段将 on 的字段设为 key，然后将选择的字段集作为 value； 在 Reduce 阶段将相同 key 值的数据分发到同一个 Reducer。Hive如何优化join操作若有大量 null key，则过滤掉或者赋随机值；若大小表 join，可使用 MapJoin；若两张大表 join ，可将倾斜的 key 过滤出来单独 join，则会分散到多个 task 进行 join 操作，最后再进行 unionHive的mapjoinmapjoin 会将小表数据加载到内存中，在 Map 阶段完成 join 操作。Hive有哪些保存元数据的方式，都有什么特点? 内嵌模式：将元数据保存在本地内嵌的derby数据库中，内嵌的derby数据库每次只能访问一个数据文件，也就意味着它不支持多会话连接。  本地模式：将元数据保存在本地独立的数据库中（一般是mysql），这可以支持多会话连接。  远程模式：把元数据保存在远程独立的mysql数据库中，避免每个客户端都去安装mysql数据库。 内存数据库derby，占用空间小，但是数据存于内存，不稳定；mysql数据库，数据存储模式可自己设置，持久化好，查看方便。Hive SOL实现查询用户连续登陆，讲讲思路参考：面试官：“如何用 SQL 查询每个用户最大连续登录日期？”row_number，rank，dense_rank的区别row_number 表示行数，每行都是前面基础加1；rank 是跳跃排序，有两个第二名时接下来就是第四名（同样是在各个分组内）dense_rank 是连续排序，有两个第二名时仍接下来即使第三名。Hive count(distinct)有几个reducer，海量数据会有什么问题如果没有 group by 就是一个 Reducer，海量数据用一个reducer执行效率过慢，甚至造成内存溢出。开窗函数中加Order By和不加Order By的区别？当为排序函数，如row_number(),rank()等时，over中的order by只起到窗口内排序作用。当为聚合函数，如max，min，count等时，over中的order by不仅起到窗口内排序，还起到窗口内从当前行到之前所有行的聚合，不加则整个分区聚合。parquet文件优势可参考：hive从入门到放弃(五)——数据存储格式Hive里metastore是干嘛的？客户端连接 metastore，metastore 再去连接 MySQL 存取元数据。使得多个客户端可以同时连接，且这些客户端无需知道 MySQL 数据库的用户名密码，只需连接 metastore 服务即可。以上的 hive 篇先总结到这，如果觉得文章对你有帮助，可以点个小赞加收藏。如果有误，欢迎大家指正，谢谢！