随笔分类 -  spark

spark--环境搭建--6.Spark1.3.0集群搭建
摘要：1. spark安装 $ cd /usr/local $ tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz $ mv spark-1.3.0-bin-hadoop2.4 spark $ vi ~/.bashrc $ source ~/.bashrc $ cd spark 阅读全文
posted @ 2018-03-19 11:10 _殇j 阅读(205) 评论(0) 推荐(0)
spark--环境搭建--5.kafka_292-081集群搭建
摘要：1. scala安装 $ cd /usr/local $ tar -zxvf scala-2.11.4.tgz $ mv scala-2.11.4 scala $ vi ~/.bashrc $ source ~/.bashrc $ scala -version $ scp -r scala root 阅读全文
posted @ 2018-03-19 10:39 _殇j 阅读(218) 评论(0) 推荐(0)
spark--环境搭建--4.ZooKeeper345集群搭建
摘要：$ cd /usr/local/ $ tar -zxvf zookeeper-3.4.5.tar.gz $ mv zookeeper-3.4.5 zk $ cd $ vi .bashrc $ source .bashrc $ cd /usr/local/zk/conf/ $ mv zoo_sampl 阅读全文
posted @ 2018-03-18 22:56 _殇j 阅读(115) 评论(0) 推荐(0)
spark--环境搭建--3.Hive0.13搭建
摘要：在spark1上操作 1. 安装hive $ cd /usr/local/ $ tar -zxvf apache-hive-0.13.1-bin.tar.gz $ mv apache-hive-0.13.1-bin hive $ cd $ vi .bashrc $ source .bashrc $ 阅读全文
posted @ 2018-03-18 18:47 _殇j 阅读(129) 评论(0) 推荐(0)
spark--环境搭建--2.Hadoop2.4.1集群搭建
摘要：在spark1上操作 1. 安装Hadoop $ cd /usr/local $ tar -zxvf hadoop-2.4.1.tar.gz $ mv hadoop-2.4.1 hadoop $ vi ~/.bashrc $ source .bashrc 2. Hadoop配置 $ cd /usr/ 阅读全文
posted @ 2018-03-18 14:27 _殇j 阅读(208) 评论(0) 推荐(0)
spark--环境搭建--1.CentOS65集群搭建
摘要：1. 安装至少3台centos65虚拟机 2. 配置静态ip并关闭防火墙 $ vi /etc/sysconfig/network-scripts/ifcfg-eth0 $ service network restart # 重启网卡 $ ifconfig eth0 xxx.xxx.xxx.xxx # 阅读全文
posted @ 2018-03-18 00:21 _殇j 阅读(173) 评论(0) 推荐(0)