Ubuntu14.04LTS 下配置Tomcat Hadoop eclipse环境

下在相关软件：

（genju yingjian xuanze xitong weishu,根据系统是32位还是64位选择软件的版本：jdk和eclipse）

HADOOP：http://mirrors.hust.edu.cn/apache/hadoop/common/

JDK：　　 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

TOMCAT：http://tomcat.apache.org/download-80.cgi

ECLIPSE：http://www.eclipse.org/downloads/

注意：JSE是标准版、JEE是企业版，eclipse下载JEE，jdk下载JSE

安装虚拟机

Vmware+Ubuntu14.04-32

用户名：sunny

机器名：SUNNYPC

硬盘大小：128G(至少大于20G）

安装完之后，

更新源sudo apt-get update

安装sudo apt-get install vim

下面假定计算机用户名：sunny

将下载好的软件复制到/home/sunny/Downloads目录下：

打算将jdk安装到系统目录下：/usr/local/lib下

将hadoop、tomcat、eclipse安装到用户目录下：/home/sunny/usr/下

[说明：安装非常简单就是解压到相应的目录下，主要是设置目录权限和配置文件]

添加root用户：

sudo passwd root

输入密码即可。

修改机器名：

sudo gedit /etc/hostname

改为:MASTERPC

sudo gedit /etc/hosts

将SUNNYPC改为：MASTERPC

重启生效。

安装JDK

cd /usr/local/lib/
su root
tar -zxvf /home/sunny/Downloads/jdk-7u71-linux-x64.tar.gz

(注：这里sunny用户的目录要写完整，~会跑到root用户的目录中去)

ls -l

修改文件夹的所属用户和用户组（root:root），文件夹权限（755root用户可读可写可执行，其他用户可读可执行）, 将jkd路径配置到系统环境变量中.

chown root:root -R jdk1.7.0_71/
chmod 755 -R jdk1.7.0_71/
gedit /etc/profile

export JAVA_HOME=/usr/local/lib/jdk1.7.0_71
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

. /etc/profile
su sunny 
java -version

（注意：jdk版本更新较快，上面配置命令中jdk的路径一定要根据自己的文件夹名称进行跟改，包括下面hadoop中的java_home）

如果 java -version 显示的不对，首先检查是否. /etc/profile，上面的路径是否配置正确了，然后如果系统中已经安装了多个版本的jdk

就配置一下默认的jdk：

sudo update-alternatives --install /usr/bin/java java /usr/local/lib/jdk1.7.0_71/bin/java 300   （默认java，执行java
sudo update-alternatives --install /usr/bin/javac javac /usr/local/lib/jdk1.7.0_71/bin/javac 300 （默认javac，编译java）
sudo update-alternatives --list java  （显示系统中的 jdk）

安装Hadoop、Tomcat、eclipse

cd ~/usr
tar -zxvf ../Downloads/hadoop-1.2.1.tar.gz
tar -zxvf ../Downloads/eclipse-jee-luna-SR1-linux-gtk.tar.gz
tar -zxvf ../Downloads/apache-tomcat-8.0.14.tar.gz

可以发现上面文件夹的权限和用户用户组都是正确的，也可以通过命令手工修改。

配置hadoop：

-安装ssh

sudo apt-gt install ssh
cd ~
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost

一路回车，输入密码，以后ssh就可以自动登陆了。

-配置hadoop

进入到~/usr/hadoop-1.2.1/conf

core-site.xml:
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
------------------------------------------------------
mapred-site.xml:
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>
-------------------------------------------------------
hdfs-site.xml:
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
-------------------------------------------------------
hadoop-env.sh:
export JAVA_HOME=/usr/local/lib/jdk1.7.0_71

配置成单机伪分布式时，主机名为localhost，而不能是MASTERPC，因为通过ifconfig可见没有MASTERPC的回环地址127.0.1.1只有localhost的127.0.0.1.

localhost或者MASTERPC因改根据自己的实际情况进行更改

格式化namenode文件系统

cd ~/usr/hadoop-1.2.1/

bin/hadoop namenode -format

开启服务：

cd ~/usr/hadoop-1.2.1/bin

./start-all.sh

查看启动的节点：

jps

查看系统运行：

在浏览器中输入localhost:50070

测试例子：

cd ~/usr/hadoop-1.2.1

./bin/hadoop fs -put README.TXT readme.txt

可以发现系统自动在hdfs文件系统中建立文件夹：/usr/sunny,并生成文件/usr/sunny/readme.txt

（可以通过浏览器中localhost:50070 点击Browse the filesystem查看,也可以直接在eclipse中reconnect Hadoop查看）

./bin/hadoop jar hadoop-examples-1.2.1.jar wordcount readme.txt output
执行完毕后，会自动生成hdfs的/home/sunny/output/part-r-00000文件

使用如下命令查看结果：

./bin/hadoop fs -cat output/part-r-00000

配置tomcat:

待续

配置eclipse：

在/home/sunny目录下建立workspace/eclipse目录作为eclipse的工作目录。

到/home/sunny/usr/eclipse双击打开eclipse，选择刚才的工作目录。

-for hadoop

配置eclipse的hadoop应用开发环境：

需要将hadoop中的eclipse插件放到eclipse下的plugins目录中，但是新版本的hadoop都需要自己编译插件，也可以从网上下载别人已经编译好的。
window -> show view -> other 选择Map/Reduce Tools，单击ecilpse右下部选项卡上的蓝色大象，编辑hadoop-site文件系统的位置
在编辑界面中，位置名随便起，左边的MR 和右边的 DFS分别用来配置job tacker和分布式文件系统的主机和端口，应该与hadoop的配置文件对应。

->->->->

配置完成之后开启hadoop服务，就可以在eclipse中查看DFS文件系统中的文件了。

测试hadoop：

新建Map/Reduce Project，在use default hadoop 右面点击配置hadoop安装路径。

在Project Explore窗口中src右键新建WordCount类，包名org.apache.hadoop.examples,输入如下代码：

（参见：/home/sunny/usr/hadoop-1.2.1/src/examples/org/apache/hadoop/examples/WordCount.java)

编译成功之后，运行代码，由于main运行时需要参数，所以右键->Run As->Run Configration->Java Application->WordCount->Arguments

（运行程序之前删除hdfs://user/sunny/output目录，如果这个存在）

配置完成后点击Run按钮下三角，选择Run On Hadoop，OK，运行完毕之后，DFS图标右键reconnect可以看见output下生成的文件。

-for tomcat

配置ecilpse的web开发环境：

server版本和路径配置：

winow->preference->server->run time environment->add->(选择tomcat版本)->(自己安装的tomcat根路径）+（自己的jdk版本）

返回eclipse界面，右下角找到servers选项卡，点击新建server,(修改主机名,选择版本)->finish

这样server选项卡就可以使用了，可以启动关闭tomcat，右键添加工程等。

新建web工程：

file->new->dynamic web->(工程名，tomcat版本，dynamic web module sersion=2.5)->finish

servers选项卡中右键add and remove将自己建立的web工程添加进来。

（有时候从别处拷的程序配置tomcat目标版本可能与自己的环境不一样，在工程右键->properties->server选择tomcat目标版本）

在工程的->WebContent右键添加html文件：

输入：

<!DOCTYPE html>
<html>
    <head>
        <meta charset="UTF-8">
        <title>Insert title here</title>
    </head>
    <body>
	<h1>Hello world!</h1>
    </body>
</html>

点击运行，run on server，会自动启动tomcat，打开浏览器：

至此一台虚拟机的配置就结束了。

-------------------------------------------------------------------------------------------------------------------------------------------------------

（待验证）

对于多台机器的配置，复制虚拟机到多台机器上，网络方式设置为桥接，将从节点的主机名按照SLAVEPC+NUM的形式改名。

配置好个各机器的ip地址，然后将机器名和对应的ip都写到/etc/hosts文件中，sudo gedit /etc/hosts(各台机器同步修改，以后添加新的slave也是）
修改hadoop-1.2.1/conf目录下的文件，将之前的localhost都改成MASTERPC，master文件：MASTERPC，slaves文件：自己添加的所有slave机器（同步修改）
在MASTERPC中生成的ssh密钥的公钥复制到slave机器中（authorized_keys）
每次更改了节点组成后，多需要namenode -format一下。

posted @ 2014-10-24 10:18 sunnycs 阅读(441) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部