随笔分类 -  python爬虫-Scrapy

摘要：安装Scrapy 了解了Scrapy的框架和部分命令行之后，创建项目，开始使用之前，当然是安装Scrapy框架了。 关于Scrapy框架的安装，请参考：https://cuiqingcai.com/5421.html 创建项目 创建项目是爬取内容的第一步，之前已经讲过，Scrapy通过scrapy 阅读全文

摘要：简介 Scrapy是通过Scrapy命令行工具进行控制的，包括创建新的项目，爬虫的启动，相关的设置，Scrapy提供了两种内置的命令，分别是全局命令和项目命令，顾名思义，全局命令就是在任意位置都可以执行的命令，而项目命令只有在你新创建了项目之后，在项目目录中才可以执行的命令。在这里，简单的介绍一些常 阅读全文

摘要：概览 在具体的学习scrapy之前，我们先对scrapy的架构做一个简单的了解，之后所有的内容都是基于此架构实现的，在初学阶段只需要简单的了解即可，之后的学习中，你会对此架构有更深的理解。下面是scrapy官网给出的最新的架构图示。 基本组件 引擎（Engine） 引擎负责控制数据流在系统中所有组件 阅读全文

摘要：本篇目标：我们以爬取京东商城商品数据为例，展示Scrapy框架对接selenium爬取京东商城商品数据。 背景： 京东商城页面为js动态加载页面，直接使用request请求，无法得到我们想要的商品数据，故需要借助于selenium模拟人的行为发起请求，输出源代码，然后解析源代码，得到我们想要的数据。 阅读全文