苏州思必驰数据开发一面回顾

1.ES，ES的项目好几年前接触的了几乎忘光了，被狠狠拷打
什么是倒排索引
ES写数据流程
ES读数据流程
项目里ES集群规模，分了几个索引，做过哪些优化来提升性能
2.Kafka
Kafka如何实现高吞吐量
Kafka如何保证消息按顺序消费
Kafka偏移量怎么保存
Consumer出错如何恢复
Consumer想从指定时间开始重新消费如何实现
3.Spark和Flink
Spark和Flink在使用场景和设计上有何不同
什么是shuffle
什么是数据倾斜
如何优化数据倾斜
Flink消费kafka什么情况下会出现数据倾斜
之前项目里Spark写数据是往什么地方写的
4.其他一些零碎问题，本来想问hadoop和hive，但我们之前项目用的aws，所以改问了s3一些问题，比如s3和传统文件系统相比有什么缺陷，为什么选择s3，s3上的文件能否编辑
全部评论

相关推荐

头像
昨天 17:44
已编辑
武汉大学 Java
关于 Agent 岗与数据开发同源性的一些想法
笔者在秋招前由于有DB研发背景，试图找过数据开发岗的工作，最近心有所感，看现在的Agent开发岗越看越像数据开发岗，故写下这篇随想。  安慰大家，就算 oai 爆炸了，大家也不会被辞退的。 笔者一直很希望 oai 跟 nv 一起爆炸让笔者捡便宜显卡。 为什么不让加删除线，牛客怎么搞的  以下是两者在核心维度的映射对比：    维度 数据开发现状 Agent 开发现状     技术栈形态 以 SQL 为主。Java/Scala 因偏重而较少使用。 以 Prompt 为核心的自然语言，Python 和 Java/Go 也是有不少存在感的。   准入与门槛 技术门槛低于后端，学历门槛高于后端。 逻辑...
投递英伟达等公司10个岗位
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
11-01 12:57
点赞 评论 收藏
分享
11-06 15:38
已编辑
北京交通大学 自然语言处理
暑期实习+秋招面试汇总
bg 双飞本，2硕。算法岗暑期实习：2.25 阶跃星辰 处女面挂2.26 北银金科 挂3.06 百度 三面主管挂3.07 途家网 拒3.17 理想汽车 一面挂3.27 字节 二面挂4.01 小米二面挂5.19 华为 offer秋招：8.22 百度 二面挂8.28 浪潮 offer9.02 滴滴 offer9.01 PDD 经历一个多月 hr面挂9.05 小马智行 一面挂（问hr进度，回复说不知道...9.10 联想 秒挂（面试官说下午会收到下一场的面试通知，结果半小时秒挂9.10 海尔 offer9.15 猿辅导 二面挂9.18 紫荆芯界 三面拒绝9.24 联想(被捞) 依旧一面挂（估计学校问...
点赞 评论 收藏
分享
11-17 17:15
蚌埠坦克学院 算法工程师
点赞 评论 收藏
分享
11-14 15:58
National University of Singapore 大数据开发工程师
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 那些年，我收到的‘奇葩’回复 #
21198次浏览 151人参与
# 实习需要主动找活干吗？ #
54641次浏览 295人参与
# 腾讯音乐秋招 #
430517次浏览 4774人参与
# OC/开奖 #
188862次浏览 1318人参与
# 你后悔选择现在的专业吗 #
101371次浏览 696人参与
# 职场中那些令人叹为观止的八卦 #
29383次浏览 241人参与
# 百度秋招 #
49993次浏览 383人参与
# 蚂蚁求职进展汇总 #
131058次浏览 1203人参与
# 实习教会我的事 #
41598次浏览 342人参与
# 秋招你经历过哪些无语的事 #
20908次浏览 232人参与
# 校招薪资来揭秘 #
79453次浏览 508人参与
# 2022毕业即失业取暖地 #
119876次浏览 709人参与
# 秋招吐槽大会 #
88594次浏览 772人参与
# 听到哪句话代表面试稳了OR挂了？ #
105458次浏览 457人参与
# 材料人，你最希望上岸的是？ #
11144次浏览 56人参与
# 你找工作想离家近 or 离家远？ #
16290次浏览 242人参与
# 扒一扒那些奇葩实习经历 #
131472次浏览 1124人参与
# AI时代，哪些岗位最容易被淘汰 #
11303次浏览 94人参与
# 我的职场社死时刻 #
21806次浏览 169人参与
# 你秋招最后悔的选择 #
17151次浏览 127人参与
# 租房前辈的忠告 #
290905次浏览 7270人参与
# 你今年的保底offer是哪家 #
143315次浏览 619人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务