各模块启动

启动hdfs-2.7.3:

hdfs和yarn生产环境下是不启动在同一个节点的,hdfs启动在node1

1、启动hdfs

/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

2、访问

http://node1:50070

暂不知配在哪里,可能是hdfs-site.xml

3、其他

单独启动某个服务

hadoop-deamon.sh start namenode

启动一个 DN

hadoop-daemon.sh start datanode

hadoop-daemon.sh start nodemanager

 

启动yarn-2.7.3

yarn启动在node2,这里记得把yarn-site.xml中的所有地址改成node2

1、启动yarn

/home/orco/resources/hadoop-2.7.3/sbin/start-yarn.sh

2、访问

http://node2:18088

启动MapReduce History Server

我启动在node2,配置地址在yarn-site.xml

1、启动

/home/orco/resources/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh start historyserver

启动后进程名为:JobHistoryServer

2、访问

http://node2:18088

启动hive-2.1.1:

1、运行mysql

sudo service mysqld start

2、运行hdfs

/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

3、运行yarn

/home/orco/resources/hadoop-2.7.3/sbin/start-yarn.sh

4、运行metastore

nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &

5、运行hive server

nohup hive --service hiveserver2 >> /home/orco/resources/apache-hive-2.1.1-bin/hiveserver.log 2>&1 &

6、启动hive命令行

hive

启动Presto-0.166:

1、启动hdfs

/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

2、启动hive metastore

  启动mysql:

  sudo service mysqld start

nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &

3、启动Presto

需要在每个节点上都启动

/home/orco/resources/presto-server-0.166/bin/launcher start

4、访问

http://node1:8081

 5、启动Presto Client

presto --server node1:8081 --catalog hive --schema default

server:指的是Coordinator的地址,配置在config.properties 中

hive:用的是hive的connector

default:用的是hive的default数据库

启动zeppelin-0.7.1

启动zeppelin

/home/orco/software/zeppelin-0.7.1-bin-all/bin/zeppelin-daemon.sh start

  可以创建conf/zeppelin-env.sh文件,添加如下内容

  export ZEPPELIN_PORT=8090

访问

http://node1:8080

如果使用了上面那个配置文件,则 http://node1:8090

启动spark on yarn-2.1.0

spark on yarn只需要启动 Spark history server,我启动在node1

前提是yarn、hdfs、MapReduce History Server都启动了

1、启动Spark history server

/home/orco/resources/spark-2.1.0-bin-hadoop2.7/sbin/start-history-server.sh

启动后进程名为:HistoryServer

2、访问

http://node1:18080/

3、如果只是想简单的看个日志,不想启动history server,可以在命令行中输入

bin/yarn logs -applicationId xxxx

来查看,当然如果日志很多就不太方便了

启动zookeeper(已经用写好了脚本,用脚本启动)

在三台机器上同时启动

 bin/zkServer.sh start conf/zoo.cfg

启动kafka

在三台机器上启动

/home/orco/resources/kafka_2.10-0.10.1.1/bin/kafka-server-start.sh -daemon /home/orco/resources/kafka_2.10-0.10.1.1/config/server.properties

posted @ 2017-06-16 10:32  Super_Orco  阅读(441)  评论(0编辑  收藏  举报