摘要: 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。 但是当网络爬虫被滥用后,互联网上就出现太多同质的东西,原创得不到保护。 于是,很多网站开始反网络爬虫,想方设法保护自己的内容。 他们根据ip访问频率,浏览网页速度,账户登录,输入验证码,flas... 阅读全文
posted @ 2015-09-22 22:55 hust_liye 阅读(215) 评论(0) 推荐(0)