随笔分类 - 网络爬虫之Python
基于python的网络爬虫学习
摘要:1. 安装Anaconda,因为Anaconda基本把所有需要依赖的环境都一键帮我们部署好了,不需要再操心其他事了,进官网选择需要下载的版本:https://www.anaconda.com/download/ 2. 安装完Anaconda,添加环境变量,见截图 3. 验证Anaconda是否安装O
阅读全文
摘要:现在用下面这个案例来演示如果爬取安居客上面深圳的租房信息,我们采取这样策略,首先爬取所有租房信息的链接地址,然后再根据爬取的地址获取我们所需要的页面信息。访问次数多了,会被重定向到输入验证码页面,这个问题后面有几种策略解决。 如果还不知道怎么去安装部署scrapy的参考我的另外一篇文章《快速部署网络
阅读全文

浙公网安备 33010602011771号