随笔分类 -  爬虫

摘要：【导语】 这篇文章本人在CSDN也发布了。浮世绘太空 作为一个刚开始学习爬虫的小白，逐渐感觉想要写好网络爬虫并不是一件容易的事，其中需要考虑的地方有很多。受大环境影响，无论是工程领域还是研究领域，数据已然成为了不可或缺的部分，而数据的获取除却人工模拟，很大程度上通过爬虫来爬虫需要的数据。当然，掌握了 阅读全文

摘要：对于一个爬虫脚本来说，很难具有很好的健壮性，缺乏可操作性，可能今天写出来的爬虫，说不定几个月后，甚至于几周后，就不能用了。 为什么这么说呢？ 主要原因有以下几点： 网站毕竟是由程序员编写出来的，给用户使用的，而网站想要更具有用户沾粘性，就必须要进行版本迭代。此时的网站，页面已经改版，接口已经更新。 阅读全文

摘要：详细解析反爬手段以及处理方案 前言 ​ 互联网时代，无论在工作上，还是生活上都离不开网络，而网络能给我们带来什么？ ​ 新闻，小说，资料，各行业的数据或者报表等等； ​ 比如：快毕业了为了论文，在各种网站上爬取需要的数据进行分析；还有一些为了兴趣爱好，爬取各种类型的图片，视频，文章，数据等。 ​ 各 阅读全文