随笔档案「2016年9月」 - 骁枫

Hive安装

摘要：一、下载：http://hive.apache.org/，选择合适的版本，Hive 1.X版本要求Hadoop2.x以上版本，Jdk1.7以上这里选择1.2.1版本二、安装jdk 略三、安装Hadoop 略四、安装Hive 1、tar -zxvf apache-hive-1.2.1-bin. 阅读全文

posted @ 2016-09-28 11:14 骁枫阅读(496) 评论(0) 推荐(0)

Spark 集群安装

摘要：一、安装jdk 二、安装scala 三、安装Spark 1、解压 tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz 2、cp spark-env.sh.template spark-env.sh vi spark-env.sh 3、work节点，输入主机名或者ip cp 阅读全文

posted @ 2016-09-28 11:14 骁枫阅读(285) 评论(0) 推荐(0)

Flume 远程写HDFS

摘要：现在的需求是在一台Flume采集机器上，往Hadoop集群上写HDFS，该机器没有安装Hadoop。这里的Flume版本是1.6.0，Hadoop版本是2.7.1. 把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把阅读全文

posted @ 2016-09-19 16:30 骁枫阅读(5221) 评论(0) 推荐(0)

Spark Idea Maven 开发环境搭建

摘要：一、安装jdk jdk版本最好是1.7以上，设置好环境变量，安装过程，略。二、安装Maven 我选择的Maven版本是3.3.3，安装过程，略。编辑Maven安装目录conf/settings.xml文件，三、安装Idea 安装过程，略。四、创建Spark项目 1、新建一个Spark项目，阅读全文

posted @ 2016-09-19 11:49 骁枫阅读(25769) 评论(3) 推荐(1)