实时流碰上高并发?

这是之前在处理一个实时流数据上碰到的。

之前背过很多,类似的关于高并发问题的一些官样文章。初读起来,总感觉索然无味。好像和幼儿园里把大象放进冰箱里的故事一样。

在业务中碰到的情况很特别。

同一个用户,会在同一个时间点有多条订单,即使把时间精确到 00:00:00,依然发现无法区分。前辈提醒后,才发现这其实是一种高并发的情况。

在Flink实时流里,通常碰到高并发的情况下,会进行一次打乱操作。在SQL任务中,我忘记进行了这种操作,后来发现其实是有这样的key by 参数。

大约可以这样处理。

在处理的时候,通过key by 的操作,会将并发数据存储同一个kafka topic上的逻辑分区。也就是虽然之前是并发的,但在key by操作之后,实现了在逻辑存储上的先后,也就让并发数据在被加工的时候有了一个先后。

虽然其实,处理过程没有八股中纷繁复杂的招式,但是其实体会这个过程确实是很美妙,有一种身处其中的快感。

#美团##我的实习日记##晒晒你的元宵动态##牛客创作赏金赛#
全部评论
mark高并发处理
点赞 回复 分享
发布于 2025-02-20 22:39 江苏
mark高并发处理
点赞 回复 分享
发布于 2025-02-20 17:57 陕西
mark高并发处理
点赞 回复 分享
发布于 2025-02-18 23:07 广东
mark高并发处理
点赞 回复 分享
发布于 2025-02-15 23:08 广东
mark高并发处理
点赞 回复 分享
发布于 2025-02-15 21:15 北京

相关推荐

哞客37422655...:你猜为什么福利这么好还得一直追着你问
点赞 评论 收藏
分享
01-30 22:03
门头沟学院 Java
用微笑面对困难:我滴妈,【俩月】【实习】【主管】仨debuff吃满了,独立设计开发的项目写了绝大占比的运营板块,你独立开发,那维护、问题复盘、日志更新、bug、策划书全是自己整的? 不建议写那么大,可以从小出发更容易
点赞 评论 收藏
分享
评论
10
18
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务