04 2016 档案

sqoop
摘要：Sqoop安装过程 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 已经安装Hadoop-0.20.2，因 阅读全文
posted @ 2016-04-26 21:06 codingcat 阅读(222) 评论(0) 推荐(0)
Job running in uber mode : false？
摘要：Hadoop的小作业模式， 数据量小非常节约时间，测试使用Uber，数据量超过块大小就会自动启用了。 要启动ubertask，reduce数得是1。 参数设置： mapreduce.job.ubertask.enable mapreduce.job.ubertask.maxbytes //块大小 阅读全文
posted @ 2016-04-26 15:37 codingcat 阅读(9644) 评论(2) 推荐(1)
alluxio
摘要：参考：http://www.alluxio.com/2016/04/getting-started-with-alluxio-and-spark/ 环境： ubuntu14.04 64bit scala2.10.5 openjdk1.7 hadoop2.6 spark1.6 webui: http: 阅读全文
posted @ 2016-04-17 21:56 codingcat 阅读(416) 评论(0) 推荐(0)