在数仓设计中，如何确保数据的质量和一致性？应采取哪些措施？解释一下MySQL中的索引，以及它是如何提高查询性能的。MySQL中如何处理NULL值？NULL值在查询和比较时有什么特殊的处理方式？简述Secondary NameNode及其作用，它和Standby NameNode 有什么区别？ES提供了两种查询方式。请描述它们的区别，并举例说明适用场景。每日五问总览在数仓设计中，如何确保数据的质量和一致性？应采取哪些措施？为了确保数据仓库中的数据质量与一致性，应从多个方面着手。首先，建立严格的数据标准和业务规则，统一数据格式、单位和命名规范；其次，在 ETL 过程中对原始数据进行清洗、校验与转换...

MapReduce的Shuffle过程是怎样的？为什么Shuffle可能会成为MR任务的性能瓶颈？如何优化？MySQL的联合查询（JOIN）有哪几种类型，它们之间有什么区别？MySQL中的GROUP BY和ORDER BY有什么区别？什么是ETL过程？在数据仓库建设中，ETL的角色和重要性是什么？每日五问总览MapReduce的Shuffle过程是怎样的？在 MapReduce 中，Shuffle 是连接 Map 阶段和 Reduce 阶段的核心过程，主要包括数据的输出、传输与排序。具体来说，当 Map Task 处理完数据后，会将输出结果按照 key 进行分区（Partition），写入本地...

数据仓库的基本概念是什么？它与传统的数据库系统有何不同？说一下ES中的核心组件以及各自关系作用。MySQL中如何使用子查询？子查询和连接查询（JOIN）有什么区别？谈谈MapReduce中的Task。若MR中某个Task失败了，Hadoop会如何处理？每日五问总览数据仓库的基本概念是什么？它与传统的数据库系统有何不同？数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，主要用于支持企业管理决策。它与传统数据库系统最大的不同在于：传统数据库（OLTP） 主要用于处理日常业务操作，如插入、修改、删除，关注的是单点数据的事务一致性与实时性；而 数据仓库（OLAP） 更关注对大规模历史数...

前几天蚂蚁给我发了笔试通知，然后今天就突然给我发感谢信了？？笔试之前给我挂掉了？这是什么操作？我请问呢  

偶遇三道位运算，拼尽全力无法战胜  

对MySQL中的锁机制了解多少？展开说说。要在MySQL数据库中优化一个慢查询，你会从哪些方面入手？了解“数据血缘” 吗？它对数据管理有什么帮助？数据仓库中的OLAP和OLTP有什么区别？详细说说。谈谈你对Spark中Shuffle机制的理解。传送门：每日五问总览对MySQL中的锁机制了解多少？展开说说。 MySQL 中的锁机制是保证并发事务数据一致性的重要手段，主要分为表级锁、行级锁和意向锁三类。其中，表级锁作用于整张表，粒度大、开销小，适用于读多写少的场景，如 MyISAM 引擎；行级锁作用于具体数据行，粒度小、并发高，是 InnoDB 的核心优势，适用于高并发写入场景。InnoDB 还引...

努力找实习中，整理一些大数据相关面试题和大家分享，共同学习进步，有建议或批评欢迎留言！大数据相关问题每日五问：（一）25.4.7（1）：SQL，Hadoop，Spark，数仓理论，场景应用（二）25.4.8（2）：SQL、Hadoop、ES、Hive、Spark（三）25.4.9（3）：ES、SQL、数仓理论、Hadoop（四）25.4.10（4）：SQL、数仓理论、Spark（五）25.4.11（5）：数仓理论、ES、SQL、Hadoop（六）25.4.12（6）：Hadoop、SQL、数仓理论（七）25.4.13（7）：数仓理论、SQL、Hadoop、ES（八）25.4.17（8）：Had...

对ES的倒排索引了解多少？工作原理？如何提高其查询效率？了解MySQL中的事务吗？它的ACID特性指的是什么？简述数据仓库中“维度”和“事实”表的区别及其作用构建数仓的模型有哪些？展开讲讲。HDFS 的写数据流程是怎样的？如果一个 DN在写入过程中发生故障，Hadoop 会如何处理？（1）https://www.nowcoder.com/discuss/738791848554086400（2）https://www.nowcoder.com/discuss/739079633773023232对ES的倒排索引了解多少？工作原理？如何提高其查询效率？Elasticsearch 使用的是倒排索引...

常见的窗口排序函数你知道哪些？说一下他们各自作用。HDFS如何保证数据的可靠性和高可用性？它的副本机制是如何工作的？ES是如何保证数据高可用性的？如果一个节点宕机，系统会如何处理？Hive表里的分桶有哪几种形式，分桶与分区的区别？什么时候要去做分桶？Spark调优思路?常见的窗口排序函数你知道哪些？说一下他们各自作用。常见的窗口排序函数主要包括 ROW_NUMBER()、RANK()、DENSE_RANK()、NTILE() 等，它们常配合窗口函数 OVER(PARTITION BY ... ORDER BY ...) 使用，作用是对分组内的数据进行排序和排名。ROW_NUMBER() 是最常...

SQL的偏移量怎么实现，怎么排序？MapReduce中的数据倾斜你了解多少？如何解决数据倾斜？Spark如何划分stage？数仓理论了解多少？简单说一下分层。给你一个数据需求，开发思路是怎么样的，简单描述一下。大数据相关面试题每日五问（二）：https://www.nowcoder.com/discuss/739079633773023232SQL的偏移量怎么实现，怎么排序？在 SQL 中，排序通常通过 ORDER BY 实现，可以指定某一列按升序（ASC）或降序（DESC）排列，而偏移量（即从第几条记录开始返回）则通过 LIMIT 和 OFFSET 实现，常用于分页查询。例如，ORDER B...

选择题一如既往的不会。编程题第一题ac了，第二题60%，第三题0。三道编程题是核心代码模式，比当初美团的ACM模式好一点。第一题比较简单，用了个字典记录一下就过了。第二题感觉写的挺对，但只有60%（或许是超时？），第三题比较抽象，确实搞不出来。 #第一题 import collections class Solution: def findBall(self, nums) : # write code here n,ans=len(nums),[] idx=collections.defaultdict(int) for i in range(n): idx[nums[i]]+=1 for i...

转码后的第一次面试，很紧张，心跳一百一。软件开发中的数据开发方向。0.应该是KPI面，基本没拷问八股和项目。回答的很烂手撕SQL也没撕出来也没考察Python 亏我力扣刷了那么久1.聊了聊数学专业相较于其他科班专业有啥优势，聊了聊对目前大模型的看法，有没有用到过。1.5.为什么选择数据开发这个领域。怎么看数据分析和数据开发的。2.简单询问了第一个项目（我项目很烂 下一步要开点新项目做），做项目的背景，我含糊其次的回答了一下（做项目的背景就是为了面试啊喂）3.问了问对数仓有什么了解，知不知道分层啥的。我回答了四个分层，说了说星型模型和雪花模型啥的。4.再往后就是问我SQL怎么样，做个题吧。你都说了，那就做吧。没有示例，只有描述，感觉很抽象，也没有运行，就生写。感觉第一问写对了，第二问没搞出来。然后他就让我讲讲做题思路。5.啥也没说了。反问：1.需要补足的技术栈2.Python在数据开发中的占比（这场面试基本上没问我Python）面试官回答Python在数开中不如SQL常用，应该把重点放SQL上。准备的Hadoop这样的大数据八股都没用上，或许是准备方向不太对吧。项目也不好，确实是准备的不充分。还是差的太多了。真的该重新思考一下该做些什么了😮‍💨。恳请希望路过的牛油们给点建议，什么建议都可以。  

八道多选，一道单选，两道场景分析（一道具体分析，一道手写SQL），几道逻辑推理题，两道编程题（一个SQL一个消消乐编程）。 多选考的是机器学习相关的知识，场景分析里的具体分析就是谈谈某个游戏的具体业务怎么怎么样，逻辑推理判断题里面还有个脑筋急转弯“1 2 3 4 5 6 7 8 9，在数字之间添加+或-，使得最后结果是100”。SQL题目考察了聚合函数、子查询啥的，编程题就卡在了优化上，空间优化。我做了这么多题都是卡时间的，头一次碰见卡空间的，拼尽全力无法战胜。先写的这个，被卡了时间。 class Solution: def bingoAsk(self , n: int, m: int, ma...

十道选择题，三道编程题，ac两道。选择题都不会，没见过。。。。。之前一直在力扣刷题，不熟悉输入输出相关的函数和用法，第一题用了很长时间。做完第二题只剩二十分钟了，第三题0通过，没写完都。 import sys n = int(sys.stdin.readline().strip()) for i in range(n*2): # 读取每一行 ii=i+1 if ii%2!=0: line = sys.stdin.readline().strip() # 把每一行的数字分隔后转化成int列表 values = list(map(int, line.split())) else: a = sys....