随笔分类 -  技能Get之Kafka

摘要:在之前的博客中,介绍了Kafka Web Console这 个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过,看来使用开源工具要慎重!该Bug暂未得到修复,不得已,只能研究下 阅读全文
posted @ 2016-07-29 13:01 银雪飞马 阅读(14881) 评论(0) 推荐(2)
摘要:下载 http://www.confluent.io/download,打开后,显示最新版本3.0.0,然后在右边填写信息后,点击Download下载。 之后跳转到下载页面,选择zip 或者 tar都行, 下载完成后上传linux系统,解压即完成安装。 zip and tar archives – 阅读全文
posted @ 2016-07-26 22:22 银雪飞马 阅读(10338) 评论(1) 推荐(0)
摘要:最开始接触confluent是通过这篇博客,How to Build a Scalable ETL Pipeline with Kafka Connect,对于做大数据的,数据的ETL(抽取,转换,装载)是必不可少的。例如,要把传统的关系型数据库中的数据导入到HDFS里,或者导入到Hive中,进一步 阅读全文
posted @ 2016-07-22 19:17 银雪飞马 阅读(31383) 评论(0) 推荐(8)
摘要:转自:https://prefrontaldump.wordpress.com/2016/05/02/using-confluents-jdbc-connector-without-installing-the-entire-platform/ I was interested in trying 阅读全文
posted @ 2016-07-06 17:07 银雪飞马 阅读(986) 评论(0) 推荐(0)
摘要:在这篇文章中,我将要介绍如何搭建和使用Apache Kafka在windows环境。在开始之前,简要介绍一下Kafka,然后再进行实践。 Apache Kafka Kafka是分布式的发布-订阅消息的解决方案。相比于传统的消息系统,Kafka快速,可扩展,耐用。想象一下传统的发布-订阅消息系统,pr 阅读全文
posted @ 2016-07-05 21:31 银雪飞马 阅读(599) 评论(0) 推荐(0)