随笔分类 - data collection

如何应对网站反爬虫策略？如何高效地爬大量数据?

摘要：像一些大型的网站会有反爬虫策略…比如我之前在爬淘宝评论后很快就会被封，大概是短时间爬太多…有什么好的策略吗？比如代理？不过感觉代理也不能稳定吧… 1楼（未知网友）我们生活在信息爆炸的时代，穷尽一个人的一生也无法浏览完万分之一的网络信息。那如果给你猜，你会觉得整个互联网的流量里，非人类的比例有多大？是阅读全文

posted @ 2016-12-03 12:26 adolfmc 阅读(12897) 评论(1) 推荐(1)

web harvesst

摘要：http://web-harvest.sourceforge.net/manual.php 阅读全文

posted @ 2012-10-29 09:39 adolfmc 阅读(163) 评论(0) 推荐(0)