腾讯 数据工程一面

1. 自我介绍
2. 用Hive还是Spark,比较了解哪个
3. spark问题定位流程,以及解决方法
4. 现在有一个任务跑的很慢,你如何去定位
5. 介绍一下广播和Shuffle的区别,以及Shuffle为什么会比广播慢?
你这里面之前说到的大部分都是在数据传输上,包括涉涉及到一些网络会导致它传数据量大比较慢嘛。
6. Shuffle将各个节点的数据传输到另一个节点之后,会做什么操作呢?
7. 小文件导致任务运行缓慢,是在Spark读的环节还是哪个环节?
8. 用过二级分区吗?用Spark写Hive二级分区时有没有遇到过什么问题?
9. flink的滑动窗口,以滑动窗口为例子啊,就是每5分钟统计过去一小时的那个行为流水,100万一分钟的,然后你5分钟去输做这种滑动窗口所计算的时候,怎么去预估它可能会产生多大的输出,以及计算量。
10. flink 的就它发完了,它在重写的时候有个问题,我想问一下。它能基于checkpoint,我们可能说是checkpoint来重启嘛。那我数据从kafka里面消费的时候,我们可以某个精确到某一秒的时间点,能回溯对应的数据吗?
11. 那有没有哪里有性能问题?换一种更好的方式写的话,你会怎么写?
12. 如何优化你写的这两个sql
13. 这两段sql在spark里面是如何运行的
全部评论
蹲蹲后续
点赞 回复 分享
发布于 04-14 21:53 安徽
佬sql题出了什么呀
点赞 回复 分享
发布于 03-30 19:31 广东
哪个事业群呀
点赞 回复 分享
发布于 03-27 16:46 广东

相关推荐

“无名小卒,还是名扬天下?”我知道很多人都不觉得我能走到今天这一步,当然,也包括我自己。在我的人生里,有两部作品刻下了最深的烙印:《斗破苍穹》与《龙族》。它们总被人拿来对照:一边是萧炎的桀骜轻狂,一边是路明非的怯懦衰颓。有人说,天蚕土豆没见过魂天帝,但江南见过真凯撒。我时常觉得,自己就是那个衰小孩路明非。可路明非可以开挂,我不可以;我也无数次幻想过,能拥有萧炎那般年少轻狂的人生,可我没有他与生俱来的逆天天赋。我只是个平庸的普通人,一个看过《斗破苍穹》却开不了挂的路明非,只能一步一步往上爬。从我下定决心找实习的那一刻起,我就给自己定下了目标:“我一定要为字节跳动卖命.jpg”。萧炎有他的三年之约,我有我的两年半之约(其实是一年半)。2024.11.20,科大讯飞的第一封实习offer落进邮箱,我迈出了这场奔赴的第一步。2025.8.18,放弃百度转正的安稳机会,转身走进前路未卜的不确定里。2025.11.14,我选择走进字节跳动,以实习生的身份重新出发。2026.3.25 - 3.31,一周速通上海飞书,幸遇赏识我的伯乐,斩获Special Offer。被告知面试通过的那一刻,我的内心无比平静,就像这个offer本就该属于我。不是侥幸,是应得的。这一路,有人看轻过我的出身,不相信我能走到这里;也有人在我看不见前路的时候,替我举过灯。没有他们的鼓励与支撑,就没有今天站在这里的我。我看到了自强不息的激荡,那是一个双非的伟大乐章!我是雨夜迈巴赫,我要开启属于我的新篇章了。
在看牛客的本杰明很勇...:真心祝贺l总 我永远的偶像 我滴神
春招至今,你收到几个面试...
点赞 评论 收藏
分享
点赞 评论 收藏
分享
评论
2
11
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务