canal+rabbitmq: Could not convert incoming message with content-type [null]
摘要：SpringBoot整合 Canal+RabbitMQ 实现监听 MySQL 数据库同步更新 Redis 缓存，编写RabbitMQ 消费端监听同步缓存。 接收消息是字符串返回的是字节数据，eg： -30,-128,-100,-25,-126,-71,-27,-81,-71,-25,-126,-71
阅读全文
posted @
2023-05-29 16:11
Ruthless
阅读(815)
推荐(0) 编辑
Springboot+RabbitMQ实战demo
摘要：rabbitmq依赖包 <!-- rabbitmq依赖 begin --> <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId> </dependency> <dependency> <gr
阅读全文
posted @
2021-01-15 17:16
Ruthless
阅读(855)
推荐(1) 编辑
springboot集成rabbitmq（实战）
摘要：springboot集成rabbitmq（实战） 详解Spring Boot 配置多个RabbitMQ RabbitMQ：消息发送确认 与 消息接收确认（ACK）
阅读全文
posted @
2020-12-20 19:21
Ruthless
阅读(303)
推荐(0) 编辑
RabbitMQ概念
摘要：在之前所讲解的RabbitMQ操作里面实际上都有如下的几个局限：1、在整个的处理之中并没有考虑到rabbitmq中的exchange、routing key概念2、在整个处理里面实际上只是编写了一个简单的队列名称3、在消息系统之中除了有队列消息之外一定会存在有主题消息，同一条消息可以被所有的消费者同
阅读全文
posted @
2020-07-07 23:04
Ruthless
阅读(363)
推荐(0) 编辑
RabbitMQ使用
摘要：1、工作队列现在的程序只定义有一个生产者和一个消费者，如果说现在有一个生产者对应多个消费者呢？那就表示一个工作队列，而工作队列的最大特征在于：若干个消费者一起完成工作。 当启动了多个消费者之后，这些消费者会一起共同完成所发出的消息消费处理，这样的处理可以保证消息处理的速度更加的快速。但是千万要记住，
阅读全文
posted @
2020-07-05 16:32
Ruthless
阅读(357)
推荐(0) 编辑
RabbitMQ简介
摘要：如果从消息组件来讲主要划分为两类： JMS组件：ActiveMQ(慢) AMQP组件(协议)：性能是最高的，而AMQP有两个主要的开源项目： |-RabbitMQ：使用最为广泛，速度也很快 |-Kafka：是在大数据时代产生的，未来明日之星。 RabbitMQ系统架构在所有的消息系统之中，其基本由生
阅读全文
posted @
2020-07-04 16:32
Ruthless
阅读(421)
推荐(0) 编辑
Flume整合Kafka(基于kerberos认证)——完成实时数据采集
摘要：如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就
阅读全文
posted @
2020-07-03 00:13
Ruthless
阅读(1757)
推荐(0) 编辑
Flume整合log4j
摘要：Java+Flume实现日志数据传输 如果要在Java之中进行日志的采集处理，很明显应该使用的是log4j组件，现在准备将log4j采集到的数据通过flume进行处理。 1、如果要想将日志数据发送给flume，flume.conf必须改如下配置： a1.sources.r1.type = avro
阅读全文
posted @
2020-07-02 00:13
Ruthless
阅读(1204)
推荐(0) 编辑
Flume基本配置
摘要：Flume的使用只需要做一些简短的配置即可，而且在apache官方网站上也都给出了基本使用。 1、Flume下载apache-flume-1.7.0-bin.tar.gz 注意：Windown安装也是用这个包。 2、Flume安装 cd /root/soft tar -zxvf apache-flu
阅读全文
posted @
2020-07-01 17:03
Ruthless
阅读(950)
推荐(0) 编辑
Flume简介
摘要：Kafka在实际的开发之中的确可以处理千万级别的数据，但是现在有一个问题，这些数据从哪里来呢？Kafka产生的初衷是进行数据的收集以及合理的消费，但是这些实际之中的数据我们应该如何获取，我们该用什么样的方式来获取，而且最关键的是，如果现在是一个已经成型的系统(SSH、SSM、Spring)，那么这个
阅读全文
posted @
2020-07-01 11:38
Ruthless
阅读(388)
推荐(0) 编辑
Kafka Kerberos多端口访问
摘要：使用了kerberos认证之后，整个kafka系统安全了，而且性能也保持着不错的状态，但是在实际中工作中kerberos未必都能够正常使用，也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中，作为消息生产者的数据来源可能非常的多，所以在这样的状态下，kerberos认证必须保留，
阅读全文
posted @
2020-06-27 23:46
Ruthless
阅读(1063)
推荐(0) 编辑
Kafka Kerberos客户端访问
摘要：如果要想在java客户端进行Kerberos认证，则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件：kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach
阅读全文
posted @
2020-06-27 22:49
Ruthless
阅读(2202)
推荐(0) 编辑
Kafka Kerberos服务端配置
摘要：正是因为Kafka推出了Kerberos认证，才表示Kafka真正的由实验阶段变为了实际的生产环境(速度很慢)，但是对于SSL的认证处理是非常复杂的，所以在实际的开发中，更多的开发者会选择利用Kerberos这种认证机制，同时结合jaas配置文件进行更加有效的安全认证处理。 Kerberos认证需要
阅读全文
posted @
2020-06-27 22:13
Ruthless
阅读(5060)
推荐(0) 编辑
Centos安装Kafka
摘要：点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到
阅读全文
posted @
2020-06-26 20:56
Ruthless
阅读(3711)
推荐(0) 编辑
Kafka创建SSL证书
摘要：对于消息组件，如果按照最初的设计来讲，性能最高得就是RabbitMQ，因为RabbitMQ设计比较完整，而Kafka不同，Kafka最初的设计最大的坑：没有安全认证，所以最初的一些系统设计的时候为了考虑到安全性，所以采用了性能较差的ssl认证方式来进行出来，也就是说使用证书的方式来处理认证操作。 如
阅读全文
posted @
2020-06-21 22:19
Ruthless
阅读(2505)
推荐(0) 编辑
Kafka队列消息和发布订阅消息
摘要：1、kafka自动创建主题在配置文件里指定好kafka的topic之后，调用send方法会自动帮我们创建好topic，只是创建的topic默认是1个副本和1个分区的，这一般不能满足我们的要求，所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以
阅读全文
posted @
2020-06-21 11:20
Ruthless
阅读(2745)
推荐(0) 编辑
docker安装kafka
摘要：文本摘自此文章 1、kafka需要zookeeper管理，所以需要先安装zookeeper。 下载zookeeper镜像 $ docker pull wurstmeister/zookeeper 2、启动镜像生成容器 ## docker run -d --name zookeeper -p 2181
阅读全文
posted @
2019-11-19 19:18
Ruthless
阅读(20079)
推荐(2) 编辑
