hadoop

1.数仓为什么要分层数仓分层是为了提高数据的管理和使用效率。首先，分层可以帮助数据仓库实现数据的结构化和整理。通过将数据按照不同的层级进行分类，可以更好地对数据进行管理和组织，使数据结构清晰明确。其次，分层可以提供不同的数据访问方式和权限控制。将数据仓库分为不同的层级，可以根据用户的需求和权限将不同层级的数据暴露给用户，实现对数据的灵活访问和控制，同时确保敏感数据的安全性。此外，分层还可以提升数据仓库的性能和扩展性。将数据仓库按照不同的层级进行划分，可以根据需求优化每个层级的性能，使数据的查询和分析更加高效。同时，分层也便于数据仓库的扩展和维护，可以根据需要进行层级的增加或删除。最后，分层还可...

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。下文将介绍这些框架：仅批处理框架：Apache Hadoop仅流处理框架：Apache StormApache Samza混合框架：Apache SparkApache Flink大数...

想问一下各位 ，打算年后实习的话，flink看重吗?目前已经学完flink了，打算去做实时数仓5.0，现在群里有个老哥说实习不看重实时，我spark又学的不是很好，又想去看看spark，有没有老哥给点建议呀😌😌。      

1. 首先把ST_ENTP_TYPE_CD字段炸开 SELECT CUST_ID, ST_ENTP_TYPE FROM RIDM.XXXXXX LATERAL VIEW explode (split(ST_ENTP_TYPE_CD, ',')) tmp AS ST_ENTP_TYPE WHERE DT='20220516' 2. 把ST_ENTP_TYPE_CD字段替换 SELECT CUST_ID , CASE WHEN ST_ENTP_TYPE = '01' THEN '科技型企业' WHEN ST_ENTP_TYPE = '02' THEN '科技型中小企业' END AS ST_ENT...