摘要：kafaka 常用组件: 1,producer：消息的生产者, 自己决定哪个 partions 中生产消息, 两种机制:hash 与 轮询 2,consumer：通过 zookeeper 进行维护消费者偏移量, consumer有自己的消费组,不同组之间维护同一个 topic 数据,互不影响.相同组的不同 consumer消费同一个 topic,这个 topic相同的数据只被消费一次 ... 阅读全文

摘要：hbase 常见操作: # 新建表 fs与 fs2 为列族 create 's1','fs','fs2' ''' BLOCKCACHE : 读缓存 BLOCKSIZE : 缓存块大小 INMEMORY: 是否在缓存在内存 ''' 常见表操作 # 添加 s1 表中 rowkey 为 '11111', 的... 阅读全文

摘要：一,HBASE 数据库 1,非关系型数据库 2,hadoop databases 简称 hbase ,是一个高可靠性,高性能,面向列(按照列,在添加数据时候,进行创建表结构),可伸缩,实时读写的分布式数据库 3,主要是用来存储非结构化和半结构化的松散模型二,数据模型 Row Key: 1,row k 阅读全文

摘要：################################################################################ # Licensed to the Apache Software Foundation (ASF) under one # or mor 阅读全文

摘要：#三个线程使用别名 agent3.sources = r1 agent3.channels = c1 agent3.sinks = s1 agent3.sources = r1 # 数据是使用的命令行 agent3.sources.r1.type = exec # 数据来自于此命令行获取数据 age 阅读全文

摘要：<configuration> <!--指向namenode(指定包含namenode的主机文件夹) --> <property> <name>hbase.rootdir</name> <value>hdfs://sr128:8020/hbase</value> </property> <!--设置 阅读全文

摘要：zookper 运行机制(以 Hadoop HA 为例): 1),zookeeper 使用目录树维护集群信息, 首先在目录树上创建成功节点的namenode为active 2),zeekeeper 主节点为每个从节点准备一个 message quene,通过 message quene 来实现事件的触发 3), Hadoop HA 是由 ZKFC 进程与 zookeeper 进行通信的... 阅读全文