爬虫larbin的运行配置说明

终于运行了一下larbin，爬行的是很快爬的太多了回来一看系统提示硬盘空间不足了。这也主要是我的给Ubuntu分配的空间太少了。不过爬行的好几千个文件每个文件都上十MB的。够大的。下面就说一说larbin运行的配置即所谓的定制说明和运行结果的简介。

 

larbin的配置说明：（运行命令自不用再说了）

 

    Larbin的配置基本涉及到两个文件。Larbin.conf及Options.h 。larbin.conf进行一些简单的配置。修改此配置文件不需要重新编译larbin。但要修改options.h则需要重新编译。这个文件是你要larbin怎么做的设置文件非常重要。修改要重新编译生成新的larbin再运行。

        

    1.larbin.conf

                   UserAgent : 客服端标识 当对其他网站抓取时被抓取的网站知道是什么抓取的。

                   httpPort : 用于运行的http web服务器的端口号 (larbin运行时访问http://localhost:8081/ 设置为：httpPort 8081). 如果将端口号设为0 则不会启动web服务器。这允许larbin不作为单线程运行。通过这个查看爬行结果。

                   inputPort :你要爬去的urls的端口。如果注释掉或设为0 则可能没有任何输入。如果通过手动或者程序提交爬去的urls则必须连接到计算机的TCP端口1976。即设为： inputPort 1076。可以添加爬行的url。

                   pagesConnexions : 并行爬取网页的数量。根据自己的网络速度调解。如果超时的太多则要降低这个并行数量。

                   dnsConnexions : 并行dns域名解析的数量。建议为10 。

                   depthInSite :对一个站点爬取得深度 。

                   noExternalLinks :不允许访问外部连接。如果设置则只可访问同一HOST的连接。

                   waitDuration :访问同一服务器的时间间隔。不可低于30s。建议60s，也不会慢。

                   proxy :是否用代理连接，是则要设置. 可以不用代理就不要用代理连接，用代理很慢，也可能不适合于代理特别是带有缓存的。

                   StartUrl : 开始爬取得url. 如：StartUrl  http://slashdot.org/。

                   limitToDomain : 这选项可用则不可以爬行指定的特殊域名。设置方式：limitToDomain .fr .dk end 。则不允许爬行这些域名。

                   forbiddenExtensions : 不想要的扩展名文件。一定不要禁止.html .htm larbin爬得即使它们。实际上指定禁止也一定是无效的。

        用法：forbiddenExtensions .tar .gz .deb

 

   2.options.h

                   1．选择输出模式 （不用则在前面注释去掉即可）

                            #define DEFAULT_OUTPUT ： 默认模式。 什么都不会输出，所以不要选择这个。

                            #define SIMPLE_SAVE  ：   简单保存。存在save/dxxxxxx/fyyyyyy文件中 每个目录下2000个文件。

                            #define MIRROR_SAVE  ：  镜像方式存储。按网页的层次存储。可以作为网页的字典。

                            #define STATS_OUTPUT ：  状态输出。在网页上进行状态表示。可以通过查看http://localhost:8081/output.html 查看结果。

                            这些模式被定制在src/types.h中。自己可以在src/interf/useroutput.cc中定义自己的输出模式。

                   2．特定查询

                            设定此模式是查询特定的文件，必须定义两个参数。

                            #define SPECIFICSEARCH ：设置特定的查询。

                            #define contentTypes ((char *[]) { "audio/mpeg", NULL }) ：内容类型。

                            #define privilegedExts ((char *[]) { ".mp3", NULL })  ：文件扩展。 用于查询速度 不涉及类型 类型由上一个决定

                            设置完要设置特定文件的管理

                            #define DEFAULT_SPECIFIC ：默认管理方式。 作为html有限制除了被解析。

                            ? #define SAVE_SPECIFIC ：存储特定文件。 允许将文件存储在硬盘上  文件可以很大在src/types.h 可以具体设置。

                            ? #define DYNAMIC_SPECIFIC ：动态存储模式。对于较大的文件动态的分配buffer。

                            可以通过"src/fetch/specbuf.cc" and "src/fetch/specbuf.h" 定义特定文件的管理方式。

                   3． 你要爬虫做什么

                            #define FOLLOW_LINKS： 不继续子链接。不设置此项则html页不被解析链接也不会爬子链接。通过输入系统添加url时很有用

                            #define LINKS_INFO ：每个网页中包含的子链接的列表。在"useroutput.cc" 用page->getLinks() 访问此信息。

                            #define URL_TAGS：url标签。设置此项url有一个int(默认为0)。使用输入系统统时应该给定一个int。可以通过其获取url。可以重定向。

                            #define NO_DUP： 不允许重复。如果设置则遇到相同网页但已遇到过时则不管。

                            #define EXIT_AT_END ：结束退出。没有url可爬取时是否退出。设置则退出。

                            #define IMAGES：抓取网页中的图片。设置了此项则要更新larbin.conf中禁止项。

                            #define ANYTYPE：抓取任何类型网页不管其的类型。设置要更新larbin.conf。

                            #define COOKIES：要larbin管理cookies。只简单实现但很有用。

                   4． 其他选项说明

                            0 : yes ; 1 : no ; 2 : NO ! ：选项参数 0要所有，1不要含有？或=的，2禁止包含通配符的。

                            #define CGILEVEL 1：定于选项及其参数。用于对爬行的url的限制。<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

                            #define MAXBANDWIDTH 200000： larbin使用的带宽大小。不设置则不限带宽。

                            #define DEPTHBYSITE ：当url链接到其他站点时新rul的深度是已被初始化的。

                   5．效率和特征

                            #define THREAD_OUTPUT：是否为输入制定一个专用线程。当你在useroutput.cc定义自己的代码时必须设置此项。

            #define RELOAD：重启位置记录表。设置此项时可以从上次终止处继续爬取。使用-scratch 选项从上次结束处重启。

        6． Larbin怎样工作

            #define NOWEBSERVER：不启动服务器。不运行线程时很有用

            #define GRAPH：是否在状态也使用柱状图。

            #define NDEBUG：不启动调试信息。

            #define NOSTATS：不启动状态输出。

            #define STATS：启动状态输出。运行时每个一段时间几秒吧就会输出抓取的状态。

            #define BIGSTATS：在标准输出上显示每个被抓去的网页名字。会降低larbin速度。

            #define CRASH：用于报告严重的bugs用。以make debug模式编译时使用。   

这个基本是我对官网上配置的翻译。呵呵。。翻译的太差了。不翻译过来看着原配置文件感觉太乱了不知道是什么东东。