随笔 - 60  文章 - 0  评论 - 537  0

1、Nutch命令详解

Nutch采用了一种命令的方式进行工作,其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令

要看Nutch的命令说明,可执行"Nutch"命令。

 

 

    下面是单个命令的说明:

  • crawl

crawl是"org.apache.nutch.crawl.Crawl"的别称,它是一个完整爬取索引过程命令。

 

使用方法

Shell代码

 

bin/nutch crawl <urlDir> [-dir d] [-threads n] [-depth i] [-topN]

 

参数说明

<urlDir>:包括URL列表的文本文件,它是一个已存在的文件夹。

[-dir <d>]:Nutch保存爬取记录的工作目录,默认情况下值为:./crawl-[date],其中[date]为当前目期。

[-threads <n>]:Fetcher线程数,覆盖默认配置文件中的fetcher.threads.fetch值(默认为10)。

[-depth <i>]:Nutch爬虫迭代的深度,默认值为5。

[-topN <num>]:限制每一次迭代中的前N条记录,默认值为 Integer.MAX_VALUE。

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

crawl-tool.xml

 

其他文件

crawl-urlfilter.txt

 

  • readdb

 

readdb命令是"org.apache.nutch.crawl.CrawlDbReader"的别称,返回或者导出Crawl数据库(crawldb)中的信息

使用方法

Shell代码

 

bin/nutch readdb <crawldb> (-stats | -dump <out_dir> | -url <url>)

 

参数说明

<crawldb>:crawldb目录

[-stats]:在控制台打印所有的统计信息

[-dump <out_dir>]:导出crawldb信息到指定文件夹中的文件

[-url <url>]:打印指定URL的统计信息

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

示例

Shell代码

 

$ bin/nutch readdb fullindex/crawldb -stats

 

CrawlDb statistics start: fullindex/crawldb

Statistics for CrawlDb: fullindex/crawldb

TOTAL urls: 468030

retry 0: 467361

retry 1: 622

retry 2: 32

retry 3: 15

min score: 0.0

avg score: 0.0034686408

max score: 61.401

status 1 (db_unfetched):     312748

status 2 (db_fetched):             80671

status 3 (db_gone):         69927

status 4 (db_redir_temp):     1497

status 5 (db_redir_perm):     3187

CrawlDb statistics: done

 

备注

-stats命令是一个快速查看爬取信息的很有用的工作,其输出信息表示了:

db_unfetched:链接到已爬取页面但还没有被爬取的页面数(原因是它们没有通过url过滤器的过滤,或者包括在了TopN之外被Nutch丢弃)。

db_gone:表示发生了404错误或者其他一些臆测的错误,这种状态阻止了对其以后的爬取工作。

db_fetched:表示爬取和索引的页面,如果其值为0,那肯定出错了。

 

  • readlinkdb

 

readlinkdb是"org.apache.nutch.crawl.LinkDbReader"的别称,导出链接库中信息或者返回其中一个URL信息。

使用方法

Shell代码

 

Bin/nutch readlinkdb <linkdb> (-dump <out_dir> | -url <url>)

 

参数说明

<linkdb>:linkdb工作目录

[-dump <out_dir>]:导出信息到文件夹下

[-url <url>]:打印某个URL的统计信息

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

示例

Shell代码

 

$ bin/nutch readlinkdb fullindex/linkdb -url www.hebut.edu.cn - no link information

 

  • inject

 

inject是"org.apache.nutch.crawl.Injector"的别称,注入新URL到crawldb中。

使用方法

Shell代码

 

bin/nutch injector <crawldb> <urldir>

 

参数说明

<crawldb>:crawldb文件夹

<urldir>:保存有URL的文件的文件夹目录

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

以下配置文件参数影响到了注入方式

db.default.fetch.interval:按天设置爬取间隔,默认值30.0f。

db.score.injected:设置URL的默认打分,默认值1.0f。

urlnormalizer.class:规范化URL的类,默认值为org.apache.nutch.net.BasicUrlNormalizer。

 

  • generate

 

generate是"org.apache.nutch.crawl.Generator",从Crawldb抓取新的Segment。

使用方法

Shell代码

 

bin/nutch generator <crawldb> <segments_dir> [-topN <num>] [-numFetchers <fetchers>] [-adddays <days>]

 

参数说明

<crawldb>:crawldb目录

<segments_dir>:新建的爬取Segment目录

[-topN <num>]:选取前多少个链接,默认值为Long.MAX_VALUE

[-numFetchers <fetchers>]:抓取分区数量。默认Configuration keyà mapred.map.tasks à1

[-adddays <days>]:添加 <days>到当前时间,配置crawling urls ,以将很快被爬取db.default.fetch.interval默认值为0。爬取结束时间在当前时间以前的。

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

示例

Shell代码

 

bin/nutch generate /my/crawldb /my/segments -topN 100 -adddays 20

 

备注

generate.max.per.host:设置单个主机最大URL数量,默认情况下为unlimited。

 

  • fetch

 

fetch是"org.apache.nutch.fetcher.Fetcher"的代称,它负责一个segment的爬取。

使用方法

Shell代码

 

bin/nutch fetch <segment> [-threads <n>] [-noParsing]

 

参数说明

<segment>:segment目录

[-threads <n>]:运行的fetcher线程数默认值 Configuration Key àfetcher.threads.fetch à10

[-noParsing]:禁用自动解析segment数据

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

备注

Fetcher依赖于多个插件以爬取不同的协议,目前已有的协议及支撑插件如下:

 

http:

    protocol-http

    protocol-httpclient

https:

    protocol-httpclient

ftp:

    protocol-ftp

file:

    protocol-file

 

当爬取网上文档的时候,不应该使用protocol-file,因为它是用于爬取本地文件的。如果你想爬取httphttps,应当使用protocol-httpclient。

 

 

  • parse

 

parse是"org.apache.nutch.parse.ParseSegment"的代称,它对一个segment运行ParseSegment。

使用方法

Shell代码

 

bin/nutch parse <segment>

 

参数说明

<segment>:Segment文件夹

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

备注

它依赖于多个插件来解析不同格式的内容,支持的格式及插件有:

 

内容格式

插件

备注

text/html

parse-html

使用NekoHTML 或者TagSoup解析HTML

application/x-javascript

parse-js

解析JavaScript 文档(.js

audio/mpeg

parse-mp3

解析MP3 Audio文档(.mp3

application/vnd.ms-excel

parse-msexcel

解析MSExcel文档(.xls

application/vnd.ms-powerpoint

parse-mspowerpoint

解析MSPower!Point 文档

application/msword

parse-msword

解析MSWord文档

application/rss+xml 

parse-rss 

解析RSS文档(.rss

application/rtf

parse-rtf

解析RTF文档(.rtf

application/pdf

parse-pdf

解析PDF文档

application/x-shockwave-flash

parse-swf

解析Flash 文档(.swf

text-plain 

parse-text 

解析Text文档(.txt

application/zip

parse-zip

解析Zip文档(.zip

other types

parse-ext

通过基于content-type或者路径前缀的外部命令来解析文档

 

 

默认情况下只有txt、HTML、JS格式的插件可用,其他的需要在nutch-site.xml中配置使用。

 

  • readseg

 

readseg是"org.apache.nutch.segment.SegmentReader"的代称,它读取并导出Segment数据。

使用方法

Shell代码

 

bin/nutch readseg <segment>

 

参数说明

<segment>:Segment文件夹

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

备注

Nutch0.9的版本为了segread。

 

  • updatedb

 

updatedb是"org.apache.nutch.crawl.CrawlDb"的代称,用fetch过程中获取的信息更新crawldb。

使用方法

Shell代码

 

bin/nutch updatedb <crawldb> <segment> [-noadditions]

 

参数说明

<crawldb>:crawldb目录

<segment>:已经爬取的segment目录

[-noadditions]:是否添加新的链接到crawldb中

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • invertlinks

 

invertlinks是"org.apache.nutch.crawl.LinkDb"的代称,它用从segment中获取到的信息更新linkdb。

使用方法

Shell代码

 

bin/nutch invertlinks <linkdb> (-dir segmentsDir | segment1 segment2 ...)

 

参数说明

<linkdb>:linkdb目录

<segment>:segment目录,可以指定至少一个的文件夹

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • index

 

index是"org.apache.nutch.indexer.Indexer"的代称,创建一个segment的索引,利用crawldb和linkdb中的数据对索引中的页面打分。

使用方法

Shell代码

 

bin/nutch index <index> <crawldb> <linkdb> <segment> ...

 

参数说明

<index>:索引创建后的保存目录

<crawldb>:crawldb目录

<linkdb>:linkdb目录

<segment>:segment目录,可以指定多个

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • merge

 

merge是"org.apache.nutch.indexer.IndexMerger"的代称,它合并多个segment索引。

使用方法

 

bin/nutch merge [-workingdir <workingdir>] <outputIndex> <indexesDir> ...

 

参数说明

[-workingdir <workingdir>]:提定工作目录

<outputIndex>:合并后的索引存储目录

<indexesDir>:包含待合并的索引目录,可以指定多个

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • mergedb

 

mergedb是"org.apache.nutch.crawl.CrawlDbMerger"的代称,合并多个CrawlDbURLFilter可选择性地过滤指定内容。

可以合并多个DB到一个中。当你分别运行爬虫并希望最终合并DB时,它会相当有用。可选择地,可以运行当前URLFilter过滤数据库中的URL,以滤去不需要的URL。当只有一个DB时也很有用,它意味着你可以通过这个工作去滤掉那些DB中你不想要的URL。

只用这个工具来过滤也是可能的,在这种情况下,只指定一个crawldb。

如果同一个URL包括在多个CrawlDb中,只有最近版本的才会被保留,即由org.apache.nutch.crawl.CrawlDatum.getFetchTime()值决定的。然而,所有版本的元数据被聚合起来,新的值代替先前的值。

 

使用方法

 

bin/nutch mergedb output_crawldb crawldb1 [crawldb2 crawldb3 ...] [-filter]

 

参数说明

output_crawldb:CrawlDb输出文件夹

crawldb1 [crawldb2 crawldb3 ...]:一个或者多个CrawlDb(s)

-filter:采用的URLFilters

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • mergelinkdb

 

mergelinkdb是"org.apache.nutch.crawl.LinkDbMerger"的代称,用于合并多个linkdb,可以选择性的使用URLFilter来过滤指定内容。

当分别从多个segment群中分布式建立LinkDb而又需要合并为一个时很有用。或者,也可以指定单个LinkDb,只是用它来过滤URL。

只用这个工具来过滤也是可能的,在这种情况下,只指定一个LinkDb。

如果一个URL包含在多个LinkDb中,所有的内部链接被聚合,但是最多db.max.inlinks 指定的内链数会添加进来。 如果被激活,URLFilter可以应用到所有的目标URL及其内链中。如果目标链接被禁止,所有的该目标链接的内链将和目标链接一起被移去。如果某些内链被禁止,那么只有他们会被移去,在校验上面提到的最大限制数时他们不会被计算在内。

 

使用方法

 

bin/nutch mergelinkdb output_linkdb linkdb1 [linkdb2 linkdb3 ...] [-filter]

 

参数说明

output_linkdb:输出linkdb

linkdb1 [linkdb2 linkdb3 ...]:多于一个的输入LinkDb(s)

-filter:Actual URLFilters to be applied on urls and links in LinkDb(s)

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • mergesegs

 

mergesegs是"org.apache.nutch.segment.SegmentMerger"的代称,用于合并多个segment可以选择性地输出到一个或者多个固定大小的segment中。

使用方法

Shell代码

 

bin/nutch mergesegs output_dir (-dir segments | seg1 seg2 ...) [-filter] [-slice NNNN]

 

参数说明

output_dir:结果segment的名称或者segment片的父目录

-dir segments:父目录,包括多个segment

seg1 seg2 ...:segment目录列表

-filter:通过URLFilters过滤

-slice NNNN:创建多个输出segment,每一个中包括了NNNN个URL

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • dedup

 

dedup是"org.apache.nutch.indexer.DeleteDuplicates"的别名,它segment indexes中去掉重复的页面。

使用方法

Shell代码

 

bin/nutch dedup <indexes> ...

 

参数说明

<indexes>:indexes索引文件

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • plugin

 

plugin是"org.apache.nutch.plugin.PluginRepository"的代称,用于从插件库加载一个插件并执行其主方法。

使用方法

Shell代码

 

bin/nutch plugin <pluginId> <className> [args ...]

 

参数说明

<pluginId>:期望执行的插件ID

<className>:包含主方法的类名

[args]:传入插件的参数

 

配置文件

hadoop-default.xml

hadoop-site.xml

nutch-default.xml

nutch-site.xml

 

  • solrindex

 

solrindex是"org.apache.nutch.indexer.solr.SolrIndexer"的代称,用于对抓取的内容进行索引建立前提是要有solr环境。

使用方法

    Shell代码

 

bin/nutch solrindex <solr url> <crawldb> -linkdb <linkdb> (<segment> ... | -dir <segments>)

 

    参数说明

<solr url>:这是你想索引数据的HTTP的Solr实例

<crawldb>:这个参数指明crawldb目录的路径

-linkdb <linkdb>:这个参数指明linkdb目录的路径,是可以省略的,当缺省时,不影响该solrindex命令的执行

<segment> ...:指一个目录包含的segment

-dir <segments>:指segment的全路径

[-noCommit]:索引segment后,不发送提交

[-deleteGone]:删除网页中的输入段和重定向

2、Nutch简单应用

    下面我们将一步一步进行Nutch网络爬行。

  • 第一步:建立urls目录

在目录"/home/hadoop/nutch /runtime/local"下建立urls目录,见下图:

 

 

  • 第二步: 建立抓取网站文本

在urls目录下建立url.txt文件,并输入你想爬的网站网址。

 

http://www.hebut.edu.cn/

 

 

  • 第三步:编辑nutch-site.xml文件

进入到"/home/hadoop/nutch/runtime/local/conf"目录下,修改nutch-site.xml文件,增加以下内容。

 

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>http.agent.name</name>

        <value>My Nutch Spider</value>

    </property>

 

    <property>

        <name>http.agent.description</name>

        <value>this is a crawler of xiapi</value>

    </property>

</configuration>

 

    备注:参考了众多文献,大部分只是添加红色标注部分,其余的根据个人情况添加,我们这里也只把红色部分添加到"nutch-site.xml"文件里。

 

    知识点

Nutch中的所有配置文件都放置在总目录下的conf 子文件夹中,最基本的配置文件是

conf/nutch-default.xml。这个文件中定义了Nutch 的所有必要设置以及一些默认值,它是不

可以被修改的。如果你想进行个性化设置,你需要在conf/nutch-site.xml 进行设置,它会对

默认设置进行屏蔽。

Nutch考虑了其可扩展性,你可以自定义插件plugins 来定制自己的服务,一些plugins

存放于plugins 子文件夹。Nutch的网页解析与索引功能是通过插件形式进行实现的,例如,

对HTML 文件的解析与索引是通过HTML document parsing plugin,parse-html 实现的。所以你完全可以自定义各种解析插件然后对配置文件进行修改,然后你就可以抓取并索引各种类型的文件了。

 

 

  • 第四步:编辑regex-urlfilter.txt文件

进入到"/home/hadoop/nutch/runtime/local/conf"目录下,修改regex-urlfilter.txt文件,在"# accept anything else"下面输入:"+^http://(\.*)*",然后保存,见下图:

 

 

    知识点

  • Nutch 的爬虫有两种方式
    • 爬行企业内部网:针对少数网站进行,用crawl 命令。
    • 爬行整个互联网:使用低层的inject,generate,fetch 和updatedb 命令,具有更强的可控制性。
  • 举例
    • +^http://([a-z0-9]*\.)*apache.org/
    • +^http://(\.*)*
      • 句点符号匹配所有字符,包括空格、Tab 字符甚至换行符;
      • IP 地址中的句点字符必须进行转义处理(前面加上"\"),因为IP 地址中的句点具有它本来的含义,而不是采用正则表达式语法中的特殊含义。

 

  • 第六步:开始抓取网页

使用下面命令进行抓取。

 

nutch crawl urls –dir crawl –depth 3 –topN 5

 

    备注:这里是不带索引的,如果要对抓取的数据建立索引,运行如下命令。

 

nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5

 

    我们这里暂时先采用不带索引的进行网页抓取。

 

备注:运行这个命令必须在"/home/hadoop/nutch/runtime/local"目录下进行,不然会提示urls这个目录找不到。错误根源是我们写的命令中的urls这个目录的路径是相对路径

 

 

  • 第七步:观察生成目录

抓取后,在"/home/hadoop/nutch/runtime/local"目录下生成一个crawl 文件夹。

 

 

    下表2-1所示的生成的crawl文件夹中所包含的目录。

表2-1 Nutch数据集

 

crawldb

爬行数据库,用来存储所要爬行的网址

linkdb

链接数据库,用来存储每个网址的链接地址,包括源地址和链接地址

segments

存放抓取的页面,与上面链接深度depth 相关,抓取的网址被作为一个单元,而一个segment就是一个单元。

一个segment包括以下几个子目录:

  • crawl_generate:包含所抓取的网址列表
  • crawl_fetch:包含每个抓取页面的状态
  • content:包含每个抓取页面的内容
  • parse_text:包含每个抓取页面的解析文本
  • parse_data:包含每个页面的外部链接和元数据
  • crawl_parse:包含网址的外部链接地址,用于更新crawldb数据库

 

 

    备注:在Nutch-1.3之后,抓取文件后,生成的目录只有crawldb,linkdb,segments,而没有了indexs和index目录。

 

    知识点

crawldb/ linkdb:web link目录,存放url 及url 的互联关系,作为爬行与重新爬行的依据,页面默认30 天过期(可以在nutch-site.xml 中配置)。

    当depth 设为3,则在segments 下生成3个以时间命名的子文件夹。

 

 

    第八步:为刚才的数据建立索引,用Solr搜索。

    执行下面语句建立索引。

 

nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

 

    在执行前,用SecureCRT打开另一个控制台,执行下面命令,不然执行会失败。

 

java –jar start.jar

 

 

    上面这个比较麻烦,我们用第二种。

 

nutch solrindex http://127.0.0.1:8080/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

 

 

    第二种情况就不需要另开一个终端启动Solr了,因为我们这时是用的Tomcat中配置的Solr,此时这个Solr已经在运行了。注意上面的端口号

 

 

    点击"Search",然后出现搜索结果如下:

 

posted on 2014-04-14 11:03 虾皮 阅读(...) 评论(...) 编辑 收藏