03 2016 档案

ES+Hbase对接方案概述
摘要：方案背景 Hbase的索引方案有很多，越来越多的人开始选择ES+Hbase的方案，其实该方案并没有想象中那么完美，ES并发低，同时查询速度相对Hbase也慢很多,那为什么会选择他呢，它的写入比较快，如果一个宽表需要建20个索引，在数据导入时，hbase每秒导入20W，那么ES压力就是每秒400W，s 阅读全文
posted @ 2016-03-11 22:48 高兴的博客 阅读(17111) 评论(0) 推荐(2)
sparkR操作HDFS上面的CSV文件
摘要：./bin/sparkR --packages com.databricks:spark-csv_2.10:1.3.0 --master yarn hdfs://master:9000/tmp/demo.cvs 替换你的hdfs路径>sc = sparkR.init(master = "yarn″, 阅读全文
posted @ 2016-03-01 14:24 高兴的博客 阅读(2362) 评论(2) 推荐(0)