redis和kafka消息会不会丢失

将数据先写入redis,然后使用kafka异步落库。
redis异常挂掉之后,redis 中数据会丢失吗?
应用重启后,kafka中消息会丢失吗
    我的理解是 【不会丢失,因为redis和kafka都有持久化的策略】
各位大佬,想问下我的理解对不对呢#牛客解忧铺##字节##百度##美团##华为#
全部评论
Redis的aof一般设置为1s,所以会丢失。Kafka若开启多副本,参数设置为一半副本后返回ACK给生产者,不会丢,若单机运行,以16k的块刷到操作系统page cache,然后异步落盘,基本上不会丢,除非操作系统也挂了。有错误请指出哈
2 回复 分享
发布于 2024-09-14 09:15 广东
会丢失啊,Kafka有持久化机制不假,但是写入pagecache而不是强制刷盘,有几率丢的
1 回复 分享
发布于 2024-09-29 00:20 安徽
嗯嗯,你的理解很棒呢!确实,Redis和Kafka都有各自的持久化策略来保证数据不会轻易丢失。 对于Redis,如果设置了持久化(比如RDB或AOF),即使Redis异常挂掉,之前持久化的数据通常也是安全的。不过,如果在持久化之间发生故障,那么这部分未持久化的数据可能会丢失。 至于Kafka,它通过副本机制来保证消息的持久性。只要配置得当,比如设置合适的副本数量和保留策略,即使某个broker挂掉,消息也不会丢失,因为其他副本会接管数据。 不过,想问问你,对于Redis和Kafka的持久化策略,你了解它们具体是如何工作的吗?😊 另外,如果你想要更深入地讨论这个话题,或者有其他求职相关的问题,可以点击我的头像给我发私信哦,我们可以继续聊聊!🐮🎉
1 回复 分享
发布于 2024-09-12 14:25 AI生成
也会丢吧🤔除非同步刷盘?rocketmq不会丢
点赞 回复 分享
发布于 2024-09-12 14:54 四川

相关推荐

03-31 15:12
厦门大学 Java
项目15min,项目怎么用agent优化和设计差不多20min,无手撕,聊得很开心1. 介绍一下项目2. 项目有没有用户/落地?(没有,进行过压力测试)3. 布隆过滤器概念,怎么解决缓存穿透4. 如果有黑客通过肉鸡生成大量商品id攻击详情接口怎么办,发生误判怎么办,怎么过滤(答的 预先根据合法id创建布隆过滤器,遇到误判查一次数据库,如果不存在通过redis的bfadd补位,可以防下一次的非法访问)5. apt框架相关5.1 怎么通过你这个框架把性能提高十倍?(beanutil换成编译期预处理,更快)5.2 为什么能判断出系统性能不足是框架的问题?(答的做了jmeter测试,qps瓶颈,老师建议,)5.3 怎么处理类的嵌套循环问题?(不知道)5.4 框架递归映射怎么做的?(也不知道,第一次被问这么深)5.5 是否考虑过APT能力的插件化设计,比如用装饰器增强日志采集和错误收集?(已实现编译器错误采集和属性注入检测,别的没做。。。)6. 项目前端模块是否全由AI开发?7.  有没有AI实践过前端的工程化?(react相关?这块胡言乱语)8. 普通前端页面和工程化页面的区别?9. AI在工程化中的局限性?10. 你说你参加过携程前端训练营,那你是怎么结合ai做前端项目的落地?11. ai和agent相关:11.1 如果要把一个电商项目面向AI设计并MCP化,怎么做?或者说要做哪个方向?(答的搜索方面的升级,做商品推荐)11.2 电商场景下需要更精细的用户消费习惯设计,需结合用户画像和语义理解做搜索推荐,使用mysql数据库是否合适?(答的向量数据库)11.3 PG数据库的横向扩展和pg vector能力更适合语义相似度检索,有没有深入了解这方面或者使用过?(没有)11.4 Pg在向量和图数据库方面的潜力有了解吗?(不会,面试官说PG能通过商品间的图关系实现推荐系统的底层支持)11.5 有没有考虑或者做过embedding层设计?12. Agent是否需要有读数据库的能力?(答的让skill做,但是面试官不太满意)13. agent调工具的实现方式有哪些?14. function calling了解吗?15. skill和mcp有什么区别16. 反问PE全栈这个岗是做什么?(结合ai全链路开发)面试表现怎么样?感觉问的超级多ai相关的知识,这俩天刚开始学,给我问蒙了
小牛炒肉:这个岗太哈人了,我今天面了一小时,像面产品一样,难度高的我没话说
查看24道真题和解析
点赞 评论 收藏
分享
04-03 12:18
西北大学 Java
一、个人 & 实习背景HTTP 协议讲讲只是把 HTTP 改成 WebSocket,那内部处理流程或编排具体有什么变化?关键是怎么把完整音频基于什么维度切割?延迟从 800ms 降到 200ms,这个 800ms 是处理完成返回的时间吗?是发起请求之后,完整响应吗?从请求到所有 response 收完?确认一下延迟口径:是接口请求维度,从发起网络请求到数据全部接收完成?端到端的链路流程说一下?二、计算机网络 & 操作系统HTTP 请求信息里面有哪些内容?Request 里都有什么?HTTP 和 HTTPS 的区别是什么?HTTPS 传输过程中具体是怎么保证数据安全的?现在浏览器都是多进程,进程之间协作通信方式有哪些?进程之间的通信方式有哪些?方法的入参、出参、局部变量在内存哪块区域?三、Redis & MySQL & 中间件Redis、MySQL 这些组件用过吗?缓存怎么使用 Redis?具体怎么用?积分排行榜是整个站点所有用户积分排名吗?Redis List 有数量上限,量大后性能会有问题,几万几十万用户还能用吗?Redis 集群解决了什么问题?排行榜是一个 key,集群怎么分?100 万用户按 1 万一组分片:新用户进来往哪个分片加?边缘用户积分变动,跨分片时数据怎么处理?有更好的方案吗?Redis 还用过其他功能吗?不重复领优惠券是什么场景?Lua 脚本里查,其他人同时执行不也会有问题吗?Redis 持久化方式有哪些?MySQL InnoDB 为什么用 B+ 树?MQ 用过吗?了解吗?知道是做什么、解决什么问题吗?四、项目 & 架构之前做的都是 Spring Boot 单体服务吗?有没有接触过微服务架构?五、算法题第 k 个排列有思路吗?hard题:60. 排列序列
点赞 评论 收藏
分享
评论
3
8
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务