09 2018 档案

flume通过avro对接（汇总数据）
摘要：使用场景： 把多台服务器(flume generator)上面的日志汇总到一台或者几台服务器上面（flume collector），然后对接到kafka或者HDFS上 Flume Collector服务端 vim flume-server.properties 启动： Flume Generator 阅读全文
posted @ 2018-09-23 18:13 wang_zai 阅读(5133) 评论(0) 推荐(0)
Flume同时输出数据到HDFS和kafka
摘要：cd /usr/local/flume/conf vim flume-exec-total.conf 验证： 1. 首先启动HDFS和kafka 2. 创建topic 启动flume以及测试 3. 启动Flume 4. 启动kafka客户端 结果如图： Flume服务端： HDFS： Kafka客户 阅读全文
posted @ 2018-09-23 17:18 wang_zai 阅读(1526) 评论(0) 推荐(0)
Flume环境安装
摘要：源码包下载： 集群环境： 下载安装包： Flume配置: #Netcat cd /usr/local/flume/conf vim flume-netcat.conf 验证： 结果如图： #Exec cd /usr/local/flume/conf vim flume-exec.conf 验证： 结 阅读全文
posted @ 2018-09-23 14:08 wang_zai 阅读(258) 评论(0) 推荐(0)
kafka环境安装
摘要：源码包下载： http://archive.apache.org/dist/kafka/1.0.0/ 集群环境： master 192.168.1.99 slave1 192.168.1.100 slave2 192.168.1.101 下载安装包： # Master wget http://arc 阅读全文
posted @ 2018-09-23 11:07 wang_zai 阅读(726) 评论(0) 推荐(0)
spark环境安装
摘要：源码包下载： 集群环境： 下载安装包： 修改配置文件： vim slaves 配置环境变量： #Master slave1 slave2 拷贝安装包： 启动集群： 集群状态： #Master #slave1 #slave2 监控网页： http://master:8080 验证： #本地模式 run 阅读全文
posted @ 2018-09-23 10:40 wang_zai 阅读(265) 评论(0) 推荐(0)
kylin与superset整合
摘要：前提： kylin安装以及配置可以参考 https://www.cnblogs.com/654wangzai321/p/9676204.html 我这边用的Linux自带的python2.7，为了保证一个干净的Python环境，我这边使用Python的virtualenv环境 Python virt 阅读全文
posted @ 2018-09-20 16:28 wang_zai 阅读(1735) 评论(0) 推荐(0)
kylin对接hive实现实时查询
摘要：前提： 安装kylin之前，需要安装hadoop2.0、hbase、hive，并且对版本有要求，可以参照官网链接 http://kylin.apache.org/cn/docs/install/index.html 我这边用的版本为： hadoop2.7.5 hbase1.4.1 hive2.3.2 阅读全文
posted @ 2018-09-19 18:56 wang_zai 阅读(12552) 评论(1) 推荐(2)
hbase基本操作
摘要：1. 创建表 2. 查看所有的表 3. 查看表的结构 4. 修改一个列族的VERSION，即保留的次数 5. 删除某个列族 6. 查看某一表是否存在 7. 查看表结构是否允许修改 8. 删除某张表 9. 向表中插入数据 10. 删除某行数据的列[值] 11. 删除某行数据 12. 获取某个行健的所有 阅读全文
posted @ 2018-09-19 11:35 wang_zai 阅读(320) 评论(0) 推荐(0)
Hive环境安装
摘要：说明： （Hbase依赖于Hadoop，同时需要把元数据存放在mysql中），mysql自行安装 Hadoop2.0安装参考我的博客： https://www.cnblogs.com/654wangzai321/p/8603498.html 源码包下载： 集群环境： 下载安装包： 修改配置文件： c 阅读全文
posted @ 2018-09-18 23:06 wang_zai 阅读(251) 评论(0) 推荐(0)
Hbase环境安装
摘要：说明： （Hbase依赖于HDFS和zookeeper） 参考我的博客： https://www.cnblogs.com/654wangzai321/p/8603498.html https://www.cnblogs.com/654wangzai321/p/9670637.html 源码包下载： 阅读全文
posted @ 2018-09-18 22:39 wang_zai 阅读(157) 评论(0) 推荐(0)
Zookeeper环境安装
摘要：源码包下载： 集群环境： 下载安装包： 修改配置文件： mv zoo_sample.cfg zoo.cfg vim zoo.cfg dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log server.1=maste 阅读全文
posted @ 2018-09-18 18:24 wang_zai 阅读(187) 评论(0) 推荐(0)