Frankdeng

摘要： 一 HBase 的起源 HBase 的原型是 Google 的 BigTable 论文，受到了该论文思想的启发，目前作为 Hadoop 的子项目来开发维护，用于支持结构化的数据存储。 Apache HBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。 当您需要随机，实时读取/写入您 阅读全文

摘要： 1、下载 下载地址：http://www.kafkatool.com/download.html 2、安装 根据不同的系统下载对应的版本，我这里kafka版本是1.1.0，下载kafka tool 2.0.1。 双击下载完成的exe图标，傻瓜式完成安装。 3、简单使用 kafka环境搭建请参考：Ce 阅读全文

摘要： 一 kafka的API操作 1.1 环境准备 1）在eclipse中创建一个java工程 2）在工程的根目录创建一个lib文件夹 3）解压kafka安装包，将安装包libs目录下的jar包拷贝到工程的lib目录下，并build path。 4）启动zk和kafka集群，在kafka集群中打开一个消费 阅读全文

摘要： 一 Kafka在zookeeper中存储结构图 二 分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 2.2 partition状态信息 /brokers/topics/[topic]/partitions/[ 阅读全文

摘要： 一 Kafka HA设计解析 1.1 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Pro 阅读全文

摘要： 一、下载 下载地址： http://kafka.apache.org/downloads.html 我这里下载的是Scala 2.11对应的 kafka_2.11-1.1.0.tgz 二、kafka安装 集群规划 Zookeeper集群安装参考： CentOS7.5搭建Zookeeper3.4.12 阅读全文

摘要： 一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级 阅读全文

摘要： 界面介绍 首页有四个菜单 projects：最重要的部分，创建一个工程，所有flows将在工程中运行。 scheduling:显示定时任务 executing:显示当前运行的任务 history:显示历史运行任务 介绍projects部分 概念介绍 创建工程：创建之前我们先了解下之间的关系，一个工程 阅读全文

摘要： 1、软件介绍 Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件：azkaban-sql-script-2 阅读全文

摘要： 一、为什么需要工作流调度器 1、一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等 2、各任务单元之间存在时间先后及前后依赖关系 3、为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 例如，我们可能 阅读全文