[原]火车采集——某些网站的案例(403拒绝访问)Permission denied....
摘要：
很多网站禁止了spider!因为....火车的通用Agent识别字串是:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6; .NET CLR 2.0.50727; CIBA)可以在以下文件看到:User/Config.iniUserAgent=Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6; .NET CLR 2.0.50727; CIBA)改为Baiduspider+(+http://www.baidu.com/search/spider.htm) 阅读全文
posted @ 2011-12-05 14:24 钢铁奏鸣曲 阅读(864) 评论(0) 推荐(0) 编辑
