子墨言良

摘要： 1.修改yum源 鉴于用国外的Yum源，速度比较慢，所以想到将国外的yum源改为国内的Yum源，这里选择使用比较多的阿里云源。具体修改方法可以参考此连接 我们先新建一个新的文件用来存放Yum源： [kfk@bigdata-pro01 ~]$ cd /etc/yum.repos.d/ [kfk@big 阅读全文

摘要： 今天测试项目的时候需要启动Flume，然而在启动时遇到了Bootstrap Servers must be specified错误，错误日志如下： 解决方法：在配置的时候添加上bootstrap的指向，不是使用broke.list。如下图所示： 以上就是博主为大家介绍的这一板块的主要内容，这都是博主 阅读全文

摘要： 今天的内容是完成Flume+HBase+Kafka的集成开发。如下图红框中所示，节点1的Flume的source有两个：节点2和节点3的sink输出。节点1接收后进行预处理然后分别以AsyncHBaseSink（HBaseSink）和Kafka Sink的方式推送给HBase和Kafka进行离线数据 阅读全文

摘要： Redis Desktop Manager安装 Redis Desktop Manager直接下载安装就行非常简单。下载地址： 官网下载：https://redisdesktop.com/download github地址：https://github.com/uglide/RedisDesktop 阅读全文

摘要： 介绍 CBoard由上海楚果信息技术有限公司主导开源, 它不仅仅是一款自助BI数据分析产品, 还是开放的BI产品开发平台: 用户只需简单妥妥拽拽就能自助完成数据多维分析与报表设计 开发者能够简单扩展连接所有你的Java程序能够触及的数据 架构图 轻量级的技术架构, 与国内开发者耳熟能详的技术栈, 自 阅读全文

摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.flume节点服务设计 2.下载Flume并安装 1）下载 阅读全文

摘要： Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 1.下载Kafka并安装 kafka是一个消息系统。 kafka对流数 阅读全文

摘要： HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop H 阅读全文

摘要： HDFS-HA原理及配置 1.HDFS-HA架构原理介绍 hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下： 基本原理就是用2N+1台 JN 存储EditL 阅读全文

摘要： ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。 Zookeep 阅读全文