heritrix3 伪装成google进行爬取

 

 

伪装成搜索引擎蜘蛛google bot访问需网站, 这样能防止爬虫被封
在crawler-beans.cxml 中修改metadata成下面

Java代码 
 1 <!-- CRAWL METADATA: including identification of crawler/operator -->  
 2  <bean id="metadata" class="org.archive.modules.CrawlMetadata" autowire="byName">  
 3        <property name="operatorContactUrl" value="[see override above]"/>  
 4        <property name="jobName" value="[see override above]"/>  
 5        <property name="descrip蜘蛛的爬取原理tion" value="[see override above]"/>  
 6   <!-- <property name="operator" value=""/> -->  
 7   <!-- <property name="operatorFrom" value=""/> -->  
 8   <!-- <property name="organization" value=""/> -->  
 9   <!-- <property name="audience" value=""/> -->  
10       <property name="userAgentTemplate"  
11          value="Mozilla/5.0 (compatible; Googlebot/2.1; +@OPERATOR_CONTACT_URL@) "/>  
12  </bean>

伪装Googlebot。许多网站访问时需要注册，但用Google、Baidu等搜索引擎搜索时却可以搜索到全文。这是因为网站对访问者的 User Agent进行了判断，如果是bot，则允许其访问；如果是一般用户，则自动跳转到登陆页面。用User Agent Switcher就可以把自己伪装成Googlebot，进而不用注册也可以访问这些网站。

那么我们也可以伪装成搜索引擎来进入这些页面。我们需要的是修改浏览器的User-Agent 
值。

posted @ 2011-11-06 11:24  情非得已swust  阅读(659)  评论(0)    收藏  举报