摘要: Superset version 1.8.5 # Install superset pip install cairocffi pip install superset yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 修阅读全文
posted @ 2017-08-02 15:00 rilley 阅读(144) 评论(0) 编辑
摘要: { "rootGroups": [ { "name": "global", "softMemoryLimit": "80%", "maxRunning": 100, "maxQueued": 1000, "schedulingPolicy": "weighted", "jmxExport": true, ...阅读全文
posted @ 2017-02-12 22:46 rilley 阅读(484) 评论(0) 编辑
该文被密码保护。
posted @ 2017-02-07 10:28 rilley 阅读(1) 评论(0) 编辑
摘要: HBase PerformanceEvaluation: hbase pe --table=htest --nomapred --rows=20000 --presplit=100 randomWrite 100 Yahoo Cloud Serving Benchmark ./ycsb load h阅读全文
posted @ 2017-01-22 14:32 rilley 阅读(88) 评论(0) 编辑
该文被密码保护。
posted @ 2017-01-08 22:16 rilley 阅读(6) 评论(0) 编辑
该文被密码保护。
posted @ 2017-01-08 19:28 rilley 阅读(6) 评论(0) 编辑
摘要: 配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集群运行模式([distributed|local]) ...阅读全文
posted @ 2016-09-22 10:48 rilley 阅读(53) 评论(0) 编辑
摘要: Capacity 调度器配置 加载配置文件 Root QueueA A1, A2 |-- QueueB B1, B2 |-- QueueC C1, C2 队列 队列访问权限控制 层级队列Capacity管理 队列A1不能超过父队列queueA的40%的资源。 队列的状态 应用程序限制阅读全文
posted @ 2016-07-17 17:44 rilley 阅读(395) 评论(0) 编辑
摘要: Scala操作MongoDB阅读全文
posted @ 2016-06-25 11:20 rilley 阅读(1614) 评论(0) 编辑
摘要: 安装 1.安装准备工作: 下载的sqoop安装包 http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6.tar.gz 2.解压文件到工作目录: hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/h阅读全文
posted @ 2016-06-24 11:50 rilley 阅读(457) 评论(6) 编辑
摘要: ZkClient 创建一个ZkClient实例 读取数据 写入数据 创建节点 删除节点 查询节点 订阅事件 zkclient的强大之处不在于基本zookeeper api操作,而在于事件监听机制,也就是zookeeper的watches。 Zookeeper的watcher在使用上存在一次性、ses阅读全文
posted @ 2016-05-01 20:09 rilley 阅读(1707) 评论(0) 编辑
摘要: Kafka 新建Topic 查看已存在Topic列表 查看指定Topic状态 启动Consumer读取消息并输出到标准输出 运行Producer并将Terminal输入的消息发送到服务端 性能测试 Zookeeper 启动ZK服务 查看ZK服务状态 停止ZK服务 重启ZK服务 连接服务器 查看根目录阅读全文
posted @ 2016-04-27 11:18 rilley 阅读(4214) 评论(0) 编辑
摘要: import org.apache.hadoop.conf.{Configuration, Configured}; import org.apache.hadoop.util.{ToolRunner, Tool}; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.lib.output.FileOutput...阅读全文
posted @ 2016-04-25 14:47 rilley 阅读(1671) 评论(2) 编辑
摘要: 本文主要针对于Kafka的源码进行分析,版本为kafka-0.8.2.1。 由于时间有限,可能更新比较慢... Kafka.scala Server 实际调用类为KafkaServer 在KafkaServer的startup中看到主要进行几个主要服务的初始化和启动。 KafkaScheduler实阅读全文
posted @ 2016-04-14 16:17 rilley 阅读(438) 评论(0) 编辑
摘要: Broker Configs Consumer Configs Producer Configs Producer Configs阅读全文
posted @ 2016-04-14 15:53 rilley 阅读(41066) 评论(3) 编辑