摘要:
stackoverflow上看到的一个回答,概念性介绍为主,总结的不错。主要就是两种,礼貌的做法是在robots.txt文件中设置允许爬虫爬取的内容;粗暴的做法又分为两种,一种是过滤user agent,另一种是布设一个陷阱,一旦该链接被请求,就认为这是爬虫的行为。原答案在这里,暂时先把原文搬过来,... 阅读全文
posted @ 2015-03-01 14:22
KK4SBB
阅读(860)
评论(0)
推荐(0)
浙公网安备 33010602011771号