会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
捏不死的小蚂蚁
穷则独善其身 富则兼济天下
博客园
首页
新随笔
联系
订阅
管理
2018年2月4日
如何使用Scrapy框架实现网络爬虫
摘要: 现在用下面这个案例来演示如果爬取安居客上面深圳的租房信息,我们采取这样策略,首先爬取所有租房信息的链接地址,然后再根据爬取的地址获取我们所需要的页面信息。访问次数多了,会被重定向到输入验证码页面,这个问题后面有几种策略解决。 如果还不知道怎么去安装部署scrapy的参考我的另外一篇文章《快速部署网络
阅读全文
posted @ 2018-02-04 18:16 Andrew213
阅读(643)
评论(0)
推荐(0)
公告