摘要:Superset version 1.8.5 # Install superset pip install cairocffi pip install superset yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 修 阅读全文
posted @ 2017-08-02 15:00 rilley 阅读(238) 评论(0) 推荐(0) 编辑
摘要:{ "rootGroups": [ { "name": "global", "softMemoryLimit": "80%", "maxRunning": 100, "maxQueued": 1000, "schedulingPolicy": "weighted", "jmxExport": true, ... 阅读全文
posted @ 2017-02-12 22:46 rilley 阅读(1199) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2017-02-07 10:28 rilley 阅读(1) 评论(0) 推荐(0) 编辑
摘要:HBase PerformanceEvaluation: hbase pe --table=htest --nomapred --rows=20000 --presplit=100 randomWrite 100 Yahoo Cloud Serving Benchmark ./ycsb load h 阅读全文
posted @ 2017-01-22 14:32 rilley 阅读(162) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2017-01-08 22:16 rilley 阅读(6) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2017-01-08 19:28 rilley 阅读(6) 评论(0) 推荐(0) 编辑
摘要:配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集群运行模式([distributed|local]) ... 阅读全文
posted @ 2016-09-22 10:48 rilley 阅读(373) 评论(0) 推荐(0) 编辑
摘要:Capacity 调度器配置 加载配置文件 Root QueueA A1, A2 |-- QueueB B1, B2 |-- QueueC C1, C2 队列 队列访问权限控制 层级队列Capacity管理 队列A1不能超过父队列queueA的40%的资源。 队列的状态 应用程序限制 阅读全文
posted @ 2016-07-17 17:44 rilley 阅读(675) 评论(0) 推荐(0) 编辑
摘要:Scala操作MongoDB 阅读全文
posted @ 2016-06-25 11:20 rilley 阅读(2847) 评论(0) 推荐(0) 编辑
摘要:安装 1.安装准备工作: 下载的sqoop安装包 http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6.tar.gz 2.解压文件到工作目录: hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/h 阅读全文
posted @ 2016-06-24 11:50 rilley 阅读(963) 评论(6) 推荐(0) 编辑
摘要:ZkClient 创建一个ZkClient实例 读取数据 写入数据 创建节点 删除节点 查询节点 订阅事件 zkclient的强大之处不在于基本zookeeper api操作,而在于事件监听机制,也就是zookeeper的watches。 Zookeeper的watcher在使用上存在一次性、ses 阅读全文
posted @ 2016-05-01 20:09 rilley 阅读(3011) 评论(0) 推荐(1) 编辑
摘要:Kafka 新建Topic 查看已存在Topic列表 查看指定Topic状态 启动Consumer读取消息并输出到标准输出 运行Producer并将Terminal输入的消息发送到服务端 性能测试 Zookeeper 启动ZK服务 查看ZK服务状态 停止ZK服务 重启ZK服务 连接服务器 查看根目录 阅读全文
posted @ 2016-04-27 11:18 rilley 阅读(6581) 评论(0) 推荐(0) 编辑
摘要:import org.apache.hadoop.conf.{Configuration, Configured}; import org.apache.hadoop.util.{ToolRunner, Tool}; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.lib.output.FileOutput... 阅读全文
posted @ 2016-04-25 14:47 rilley 阅读(2321) 评论(2) 推荐(1) 编辑
摘要:本文主要针对于Kafka的源码进行分析,版本为kafka-0.8.2.1。 由于时间有限,可能更新比较慢... Kafka.scala Server 实际调用类为KafkaServer 在KafkaServer的startup中看到主要进行几个主要服务的初始化和启动。 KafkaScheduler实 阅读全文
posted @ 2016-04-14 16:17 rilley 阅读(774) 评论(0) 推荐(0) 编辑
摘要:Broker Configs Consumer Configs Producer Configs Producer Configs 阅读全文
posted @ 2016-04-14 15:53 rilley 阅读(57473) 评论(3) 推荐(2) 编辑