大数据开发工程师字节面经

一面

维度建模 如何建 确认主题 确认粒度 确认度量 确认事实表 确认维度表

Hive shuffle 和 spark shuffle的区别

Spark 为什么快

Spark任务是怎么执行的

转化率如何计算

缓慢变化维怎么处理

Flink状态

Flink窗口

Flink广播流

题目

两个升序链表 合并后仍然升序

给你两个单词 word1 和 word2，请你计算出将 word1 转换成 word2 所使用的最少操作数 。

你可以对一个单词进行如下三种操作：

插入一个字符

删除一个字符

替换一个字符

二面面经

各种业务问题，涉及全流程

Ks iv 值

海量用户 用户分群（位图）

Hive count(distinct)有几个reduce 海量数据会有什么问题

Spark 有什么优化

Flink 精确一致怎么保证

Flink 实时topN

Flink 写入redis怎么保证精确一致

事实表分类

Spark hive 用过的解决数据倾斜的方案

事实表分类

累积型快照事实表做法

三面

Hdfs读数据流程 源码级别（要回答出来 rpc）

Hdfs写数据流程 源码级别（要回答出来rpc）

Mapreduce shffule原理 源码级别（要回答出来锁  多线程 以及缓存写磁盘交换）

数仓为什么要分层

实时比起来离线 要注意啥

特征挖掘 是怎么做的 怎么管理的

两道题