摘要：
http://www.aboutyun.com/thread-9219-1-1.html 非常强大的博客 ! ! ! 1, cdh简介 CDH (Cloudera’s Distribution, including Apache Hadoop)，是hadoop众多分支中的一种，由Cloudera维护 阅读全文
posted @ 2017-09-04 22:45
bronk
阅读(595)
评论(0)
推荐(0)
摘要：
1, 数据膨胀后, 才对region进行分区, 效率比较低, 所以需要预创建region, 进行负载均衡写入 2, rowkey的调优 HBase中row key用来检索表中的记录，支持以下三种方式： 通过单个row key访问：即按照某个row key键值进行get操作； 通过row key的ra 阅读全文
posted @ 2017-09-03 00:42
bronk
阅读(402)
评论(0)
推荐(0)
摘要：
如果您的工作要求您在一天之中连接许多不同的数据库 （oracle、DB2、mysql、postgresql、Sql Server等等），或者你经常需要在多个不同种类的数据库之间进行数导入导出。那么SQuirreL SQL Client 将会是比较理想的数据库客户端链接工具。 SQuirrel SQL 阅读全文
posted @ 2017-08-29 17:29
bronk
阅读(296)
评论(0)
推荐(0)
摘要：
有一些大的文件，需要存入HBase中，其思想是先把文件传到HDFS上，利用map阶段读取<key,value>对，可在reduce把这些键值对上传到HBase中。 HbaseMapper: HbaseReducer job 系列来自尚学堂视频 阅读全文
posted @ 2017-08-29 17:28
bronk
阅读(286)
评论(0)
推荐(0)
摘要：
因为rowkey一般有业务逻辑, 所以不可以直接使用rowkey进行分页, startkey, endkey 想要使用SQL语句对Hbase进行查询，需要使用Apache的开源框架Phoenix。 安装 1, 下载phonenix http://mirrors.cnnic.cn/apache/pho 阅读全文
posted @ 2017-08-29 17:24
bronk
阅读(457)
评论(0)
推荐(0)
摘要：
logstash logstash是什么呢, 他是一个数据管道, JRuby编写的运行在java虚拟机的具有收集, 分析和转发数据流功能的工具 特性: 安装 1), wget下载 2), 解压即安装 3), 测试下: 然后可以输入hello, 回车后给你返回 要等一会, 刚开始还以为没启动呢 然后输 阅读全文
posted @ 2017-08-22 23:42
bronk
阅读(322)
评论(0)
推荐(0)
摘要：
hbase的完全分布式建立起来了, 可以试下好使不 1, 导包, {HBASE_HOME}/lib 下所有的jar包, 导入 2, 使用junit测试, 会报错, 因为缺少一个jar 3, 获取链接, 只需要提供zookeeper的地址即可 4, 新建表 5, 插入模拟数据 生成模拟rowkey的方 阅读全文
posted @ 2017-08-22 23:42
bronk
阅读(238)
评论(0)
推荐(0)
摘要：
hbase的安装分为单机模式和完全分布式 单机模式 单机模式的安装很简单, 需要注意hbase自己内置一个zookeeper, 如果使用单机模式, 那么该机器的zookeepr不可以启动 1, 添加java的环境变量 vim {HBASE_HOME}/conf/hbase-env.sh 2, 修改配 阅读全文
posted @ 2017-08-22 23:41
bronk
阅读(534)
评论(0)
推荐(0)
摘要：
配置语法: Logstash必须有一个 input 和一个 output 1, 处理输入的input 1), 从文件录入 logstash使用一个名为 filewatch的 ruby gem库来监听文件变化, 这个库记录一个 .sincedb的数据文件跟踪监听日志文件的当前位置 其他配置 2) 标准 阅读全文
posted @ 2017-08-22 23:41
bronk
阅读(2385)
评论(0)
推荐(0)
摘要：
filebeat 直接到logstash, 由于logstash的设计问题, 可能会出现阻塞问题, 因为中间使用消息队列分开 可以使用redis, 或者kafka, 这儿使用的是kafka 1, 安装 kafka的安装, 解压可用, 但需要zookeeper, 内置了一个zookeeper, 直接使 阅读全文
posted @ 2017-08-22 16:29
bronk
阅读(1774)
评论(0)
推荐(0)
浙公网安备 33010602011771号