首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
_小龙虾_
河北经贸大学 大数据开发工程师
发布于北京
关注
已关注
取消关注
@三石大数据:
字节跳动大数据开发面经答案汇总之Flink篇
1.Flink的组成jobmanager:相当于一个集群的Master,是整个集群的协调者,负责接收jobtaskmanager:实际负责的Workerclient:flink程序提交的客户端,当用户提交一个Flink程序时,会首先创建一个Client2.Flink流批一体解释一下Flink 使用一个引擎就支持了DataSet API 和 DataStream API。其中DataSet API用来处理有界流,DataStream API既可以处理有界流又可以处理无界流,这样就实现了流批一体3.Flink和SparkStreaming区别第一,计算速度的不同,flink是真正的实时计算框架,而sparkstreaming是一个准实时微批次的计算框架,也就是说,sparkstreaming的实时性比起flink,差了一大截。第二,架构模型的不同,Spark Streaming 在运行时的主要角色包括:Driver、Executor,而Flink 在运行时主要包含:Jobmanager、Taskmanager。第三,时间机制的不用,Spark Streaming 只支持处理时间,而Flink支持的时间语义包括处理时间、事件时间、注入时间,并且还提供了watermark机制来处理迟到数据。4.那Flink shuffle呢?你了解吗?其实就是redistribute,一对多5.watermark用过吗它就是一种特殊的时间戳,作用就是为了让事件时间慢一点,等迟到的数据都到了,才触发窗口计算当watermark等于窗口时间的时候,就会触发计算6.checkpoint Chandy-Lamport算法flink应用在启动的时候,flink的JobManager创建CheckpointCoordinatorCheckpointCoordinator(检查点协调器) 周期性的向该流应用的所有source算子发送 barrier(屏障)。当某个source算子收到一个barrier时,便暂停数据处理过程,然后将自己的当前状态制作成快照,并保存到指定的持久化存储(hdfs)中,最后向CheckpointCoordinator报告自己快照制作情况,同时向自身所有下游算子广播该barrier,恢复数据处理下游算子收到barrier之后,会暂停自己的数据处理过程,然后将自身的相关状态制作成快照,并保存到指定的持久化存储中,最后向CheckpointCoordinator报告自身快照情况,同时向自身所有下游算子广播该barrier,恢复数据处理。每个算子按照 上面这个操作 不断制作快照并向下游广播,直到最后barrier传递到sink算子,快照制作完成。当CheckpointCoordinator收到所有算子的报告之后,认为该周期的快照制作成功; 否则,如果在规定的时间内没有收到所有算子的报告,则认为本周期快照制作失败。7.如何用checkpoint和watermark防止读到乱序数据watermark设置延迟时间 checkpoint进行持久化8.Kafka和Flink分别怎么实现exactly once,问的比较深入,我只回答了一些用法,二阶段提交说了流程,没说出来机制。kafka:ack=-1+幂等性flink利用checkpoint检查点保证精准一次性
点赞 2
评论 2
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
07-29 14:49
门头沟学院 Java
也是当上社交悍匪了
ResourceUt...:
浙大✌️吉祥
点赞
评论
收藏
分享
07-28 16:18
腾讯_大数据高性能开发(准入职员工)
腾讯音乐内推
腾讯 软件开发 面经9月06日 网申9月07日 测评9月13日 一面自我介绍项目介绍零拷贝DMA缓存分配回收策略分级缓存池 扩容机制 分级策略RBACJWT加密算法es 倒排索引实现一个分词器分词算法结果集排序规则怎么判断结果和用户的相关性怎么计算相关性 频率、密度、权重限流和熔断如何实现一个限流机制场景题 QQ音乐推荐策略怎么计算用户的音乐偏好怎么计算用户和音乐的匹配度怎么设计推荐算法怎么过滤掉用户已经听过/推荐过的音乐怎么压缩听歌记录说一下布隆过滤器怎么解决哈希冲突k8snetstat、jstat命令Docker资源隔离原理HTTPS握手过程C++虚函数手撕(easy)反问全程70分...
腾讯音乐娱乐集团一面128人在聊
点赞
评论
收藏
分享
07-03 21:43
上饶师范学院 前端工程师
二本这种简历能约到实习吗?有没有优化的地方😭😭😭
人间雪:
简历最好只要一页,除非你牛逼到一页都写不下了
点赞
评论
收藏
分享
06-12 16:00
天津大学 Java
被腾讯狠狠戏耍
如何评价
牛客30236098...:
腾讯坏事做尽,终面挂是最破防的
上次被挂了后我连简历都不刷了
点赞
评论
收藏
分享
07-29 10:29
门头沟学院 产品经理
国外调研:使用 ChatGPT 在技术面试中作弊有多难?结果令人震惊
国外知名面试平台 interviewing.io 最近发起了一项引人关注的实验,试图回答一个关键问题:用 ChatGPT 在技术面试中作弊,到底有多容易?背景:ChatGPT 引发的担忧从 Reddit 到 YouTube,再到 X,越来越多声音在质疑:ChatGPT 是否意味着技术面试、甚至整个软件工程岗位的终结?学生用它写作业、开发者用它答题,这是否会引发行业危机?为验证这些担忧的真实性,interviewing.io 搭建了一场“模拟作弊”的真实测试。实验设计:三种问题 + 三类面试平台邀请了数十位经验丰富的工程师参与模拟面试,并明确要求他们必须在面试中使用 ChatGPT 答题,不...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
百度提前批,三面被推迟一周,喜提秋招第一凉
9779
2
...
虾皮秋招一面
3324
3
...
他拿大厂SSP Offer打牌是什么概念啊?25届双非之光
3321
4
...
觉得研发高人一等的这辈子有了
2159
5
...
百度提前批 三面
1963
6
...
最强本科✌
1668
7
...
被猿辅导挂了简历,但我想说...
1419
8
...
也是逆天了
1369
9
...
虾皮一面凉经
1299
10
...
上班一周,工资还没拿,先欠公司两千
1263
创作者周榜
更多
正在热议
更多
#
工作中哪个瞬间让你想离职
#
64929次浏览
577人参与
#
找工作如何保持松弛感?
#
92058次浏览
1113人参与
#
中兴秋招
#
206643次浏览
2302人参与
#
如何快速融入团队?
#
18072次浏览
215人参与
#
秋招被确诊为……
#
165472次浏览
774人参与
#
和同事相处最忌讳的是__
#
25780次浏览
250人参与
#
投格力的你,拿到offer了吗?
#
87271次浏览
585人参与
#
虾皮求职进展汇总
#
250210次浏览
1875人参与
#
计算机专业还有必要去大厂卷吗
#
38641次浏览
183人参与
#
你最希望上岸的公司是?
#
135652次浏览
709人参与
#
26届的你,投了哪些公司?
#
48513次浏览
510人参与
#
Offer比较,你最看重什么?
#
194076次浏览
1315人参与
#
简历上的经历如何包装
#
31230次浏览
846人参与
#
我对___祛魅了
#
50950次浏览
458人参与
#
柠檬微趣工作体验
#
6845次浏览
40人参与
#
你遇到最难的面试题目是_
#
17229次浏览
205人参与
#
你跟室友的关系怎么样?
#
7841次浏览
121人参与
#
通信硬件岗投递时间线
#
18887次浏览
69人参与
#
我想象的实习vs现实的实习
#
290466次浏览
2246人参与
#
什么样的背景能拿SSP?
#
40587次浏览
233人参与
#
你最讨厌面试问你什么?
#
29444次浏览
322人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务