2015年8月5日
摘要：
一、Kafka简介 转载请注明出处 : 本文链接 1.1 背景历史 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战： 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理 阅读全文
posted @ 2015-08-05 17:03
duanxz
阅读(1463)
评论(0)
推荐(0)
摘要：
本文介绍如何手动跟新zookeeper中的偏移量。我们在使用kafka的过程中，有时候需要通过修改偏移量来进行重新消费。我们都知道offsets是记录在zookeeper中的，所以我们想修改offsets的值只要修改zookeeper中的offsets值就可以了。修改offsets值有几种方法，这里 阅读全文
posted @ 2015-08-05 16:49
duanxz
阅读(2427)
评论(0)
推荐(0)
摘要：
转自： http://mp.weixin.qq.com/s?__biz=MzIxMjAzMDA1MQ==&mid=2648945468&idx=1&sn=b622788361b384e152080b60e5ea69a7#rd https://blog.csdn.net/fdsafwagdagadg6 阅读全文
posted @ 2015-08-05 16:49
duanxz
阅读(7158)
评论(1)
推荐(1)
摘要：
搭建环境 1. 安装JDK 1.1 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.1.2 安装完成后需要添加以下的环境变量（右键点击“我的电脑” 阅读全文
posted @ 2015-08-05 16:48
duanxz
阅读(839)
评论(0)
推荐(0)
摘要：
1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 Kafka凭借着自身的 阅读全文
posted @ 2015-08-05 16:47
duanxz
阅读(484)
评论(0)
推荐(0)
摘要：
在《流数据平台构建实战指南》第一部分中，Confluent联合创始人Jay Kreps介绍了如何构建一个公司范围的实时流数据中心。InfoQ前期对此进行过报道。本文是根据第二部分整理而成。在这一部分中，Jay给出了一些构建数据流平台的具体建议。 限制集群数量 Kafka集群数量越少，系统架构就越简单 阅读全文
posted @ 2015-08-05 16:47
duanxz
阅读(910)
评论(0)
推荐(0)
摘要：
原文地址：http://blog.csdn.net/honglei915/article/details/37564329 接下来一步一步搭建Kafka运行环境。 Step 1: 下载Kafka 点击下载最新的版本并解压. > tar -xzf kafka_2.9.2-0.8.1.1.tgz > c 阅读全文
posted @ 2015-08-05 14:47
duanxz
阅读(413)
评论(0)
推荐(0)
浙公网安备 33010602011771号