博客
关于我
腾讯二面:引入RabbitMQ后,你如何保证全链路数据100%不丢失 ?
阅读量:779 次
发布时间:2019-03-24

本文共 584 字,大约阅读时间需要 1 分钟。

RabbitMQ消息可靠性投递全解析

在消息系统中,消息从生产端到消费端的传输过程中可能会出现丢失,虽然这种情况概率极低,但不可忽视。我们需要通过多种机制来确保消息的可靠性传输。

生产端可靠性投递

生产端的可靠性投递主要依赖于RabbitMQ的confirm机制。通过设置confirmSelect模式,生产端可以接收到RabbitMQ的确认消息,从而判断消息是否成功投递。同时,通过设置确认监听,可以实现消息的重发策略,确保消息不会因为RabbitMQ内部错误而丢失。

消息持久化

消息持久化是RabbitMQ的一项重要机制。通过配置exchange、queue和message的持久化,可以保证RabbitMQ在重启时能够恢复消息。这种机制能够防止因RabbitMQ进程退出而导致的消息丢失。

消费端消息不丢失

消费端的消息不丢失主要依赖于手动确认机制。通过设置autoAck为false,可以让消费端对消息进行手动确认,从而避免RabbitMQ自动删除消息。这种机制能够防止因消费端连接丢失或处理异常而导致的消息丢失。

消息补偿机制

为了应对极端情况,生产端可以结合消息入库机制,通过将消息持久化到数据库,实现消息的补偿。这样可以确保消息在生产端和RabbitMQ之间的传输过程中不会丢失。

通过以上机制,可以有效地保证消息在生产端到消费端的传输过程中的可靠性。

转载地址:http://bsfuk.baihongyu.com/

你可能感兴趣的文章
NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045
查看>>
NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
查看>>
Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
查看>>
NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
查看>>
NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
查看>>
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
查看>>
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
查看>>
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
查看>>
NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
查看>>
NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
查看>>
NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
查看>>
NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南002---大数据之Nifi工作笔记0069
查看>>
NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017
查看>>
NIFI集群_队列Queue中数据无法清空_清除队列数据报错_无法删除queue_解决_集群中机器交替重启删除---大数据之Nifi工作笔记0061
查看>>
NIH发布包含10600张CT图像数据库 为AI算法测试铺路
查看>>