黄页网站蜘蛛程序

　　黄页网站蜘蛛程序：是一套在某一专业领域内下载网页的蜘蛛程序，表内有种子表，预先经过人工筛选的，然后程序会将这些种子网址分别下载，在下载中设置了一些规则，如只下载站内的子网页，下载的文件类型，下载深度等可以灵活设置。还会计算新发现的网址与这一领域的相关性，相关性高则加入种子队列表。在整个种子队列下载完后，在设置的等待时间后，程序又开始进行下载，这次的下载则是去发现如果网页有更则才下载，否则不下载。适合某一专业领域内要获得大量网页信息的部门或公司或个人。






 
       详情访问：http://www.57tianyu.com