Tomcat和Nutch的安装

一、tomcat的安装

1. 下载tomcat，下载地址为：http://tomcat.apache.org/download-70.cgi

2.  解压下载下来的文件，tar zxvf .... 解压（例如我是解压之后重命名为“tomcat”在了/opt/下）

3. 为tomcat7配置管理员账户：

    编辑tomcat/conf/tomcat-users.xml

    在<tomcat-users>.............</tomcat-users>之间加上：

 

<role rolename="admin"/>
<role rolename="manager-gui"/>
<user username="admin" password="admin" roles="manager-gui"/>
<user username="yourname" password="yourpassword" roles="admin,manager-gui"/>

3. 进入tomcat文件夹，运行   bin/startup.sh   启动tomcat服务器。（另：  bin/shutdown.sh   停止tomcat服务器）

4. 在浏览器中输入http://locahost:8080/ （出现以下页面说明Tomcat安装成功）

 

点击中间的“Manager App”，按钮会提示输入用户名和密码（对应填上前面的红色字体加粗部分  “yourname”  和 “yourpassword” ）

 

之后会出现：

 

二、nutch1.2的安装

1.下载nutch1.2软件。下载地址为：http://archive.apache.org/dist/nutch/

2.解压，把解压后的文件夹nutch-1.2重命名“nutch”拷贝到/opt/下中，

3.进入/opt/nutch，

 

4.在nutch下新建一个文件夹，命名为"urls"，在urls文件夹下创建新空白文档（名字任意都行）；

你建的空白文档中写入：

http://www.163.com
http://news.163.com/14/0419/03/9Q5QG44H00014AED.html
http://news.163.com/14/0419/15/9Q71QJ1N00014JB6.html

5.修改nutch/conf/crawl-urlfilter.txt中的参数

修改倒数第二行的内容，

将"+^http://([a-z0-9]*\.)*Y.DOMAIN.NAME/"改为入“+^http://([a-z0-9]*\.)*163.com/”


6.修改nutch/conf/nutch-site.xml文件中的内容：
在该文件中输入以下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="http://luorenhuan.blog.163.com/blog/configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->


<configuration>
<property>
<name>http.agent.name</name>
<value>HD nutch agent</value>
</property>

<property>
<name>http.agent.version</name>
<value>1.2</value>
</property>
</configuration>


7.运行网络蜘蛛抓紧网页。输入以下命令：

bin/nutch crawl urls -dir crawl.demo -depth 2 -topN 2000 -threads 2 >& crawl.log

-dir =crawl.demo 指明下载数据存放路径，该目录不存在时，会被自动创建
-deptch = 2       下载深度为2
-topN = 2000      下载符合条件的前2000个页面
-threads = 2       启动的线程数目

>& crawl.log     将抓取日志放到nutch/crawl.log中（有助以后的排错）


蜘蛛运行时会输出大量数据，抓取结束之后，可以发现nutch下crawl.demo目录被生成，里面有几个目录。（注：当你再一次运行抓取命令时，请手动将crawl.demo删除，否则将刷去失败）

 

三、在Tomcat中部署Nutch项目

1. 将Nutch根目录下的nutch-1.2.war文件放置到"/opt/tomcat/webapps"，稍等会儿，Tomcat便会自行将其解压

注：此时要重启tomcat，即先bin/shutdown.sh，然后bin/startup.sh，不然可能在进行搜索时，无法出现结果

2. 修改nutch-site.xml
在上述目录下的"/tomcat/webapps/nutch-1.2/WEB-INF/classes"，加入以下内容：

<property>
    <name>searcher.dir</name>
    <value>/optl/nutch/crawl.demo</value>
    <description></description>
</property>


上面的value要改成第三步蜘蛛的下载目录,Tomcat就是从这个存取Nutch抓下来的东西的文件夹中读取数据的，所以必须保证两者的准确一致。


3. 使用Nutch搜索

经过这一些列的设置，在第一大步最后一个页面会多出一个“nutch1.2”，如图：

点击nutch-1.2，如图：

 

此时搜索一下"网易"，发现搜索到很多符合的记录，但是显示的都是乱码，此时需要修改tomcat的位置文件，
打开"/opt/tomcat/conf/server.xml"，将Connector这个元素改成一下内容：

<Connector port="8080" protocol="HTTP/1.1" 
connectionTimeout="20000" 
    redirectPort="8443" 
URIEncoding="UTF-8"  
useBodyEncodingForURI="true"/>

 

 

也许你的serve.xml文件中此行不是这样，多或少了一些属性，但不要紧，重要的就是加粗的部分。作用的也一目了然，就是设置字符编码的。      

搜索结果如下：

 

以上就是安装Tomcat+Nutch的全部过程!

 

参考：http://www.cnblogs.com/dyllove98/archive/2013/06/16/3138837.html