随笔分类 -  MQ

kafka等消息队列
摘要:来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 一、什么是消息队列? 消息队列不知道大家看到这个词的时候,会不会觉得它是一个比较高端的技术,反正我是觉得它好像是挺牛逼的。 消息队列,一般我们会简称它为MQ(Message Queue)。 队列是一种先进先出的数据结构。 阅读全文
posted @ 2020-04-22 14:37 夏天换上冬装 阅读(160) 评论(0) 推荐(0)
摘要:如题: 在测试flume采集磁盘数据到kafka的数据时,由于博主本人写的程序时根据系统时间生成的日志文件。 在集群启动后,又更改了系统的时间,导致flume采集数据到kafka失败,查找了很久的原因,才知道flume和kafka之间的通信涉及到系统时间的校验,更改系统时间后会导致他们通信失败,从而 阅读全文
posted @ 2020-03-25 17:48 夏天换上冬装 阅读(811) 评论(0) 推荐(0)
摘要:broker-list broker指的是kafka的服务端,可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。 broker-list指定集群中的一个或者多个服务器,一般我们再使用console producer的时候,这个参数是必备参数,另外一个必备 阅读全文
posted @ 2020-03-25 08:53 夏天换上冬装 阅读(10546) 评论(0) 推荐(0)