随笔分类 -  scrapy爬虫

通过scrapy，从模拟登录开始爬取知乎的问答数据
摘要：<!-- flowchart 箭头图标 勿删 --> 这篇文章将讲解如何爬取知乎上面的问答数据。 首先，我们需要知道，想要爬取知乎上面的数据，第一步肯定是登录，所以我们先介绍一下模拟登录： 先说一下我的思路： 1.首先我们需要控制登录的入口，重写start_requests方法。来控制到这个入口之后 阅读全文
posted @ 2017-12-23 17:42 宇宙间的星河集 阅读(518) 评论(0) 推荐(0)
Scrapy爬取伯乐在线的所有文章
摘要：本篇文章将从搭建虚拟环境开始，爬取伯乐在线上的所有文章的数据。 搭建虚拟环境之前需要配置环境变量，该环境变量的变量值为虚拟环境的存放目录 1. 配置环境变量 2.创建虚拟环境 用mkvirtualenv命令进行创建，--python后面加上python的安装目录，可以选择不同版本的python.这也 阅读全文
posted @ 2017-12-03 10:34 宇宙间的星河集 阅读(290) 评论(0) 推荐(0)
搭建第一个scrapy项目的常见问题
摘要：错误1：在执行 scrapy crawl spider名命令的时候 出现了ImportError:DLL load failed: %1不是有效的win32程序错误 这是因为pywin32的版本安装错误。 因为我电脑是64位的 。最开始安装了pywin32-221.win-amd64-py3.6这个 阅读全文
posted @ 2017-11-25 16:52 宇宙间的星河集 阅读(278) 评论(0) 推荐(0)