摘要： 上文中完成了对单页的数据的爬取。从URL中我们发现只是日期不相同，其他的信息都是相同的。也就是说只要取URL中固定的信息加上日期就可以爬取想要日期的比赛数据 https://trade.500.com/jczq/?date=2019-05-12 https://trade.500.com/jczq/ 阅读全文

摘要： scrapy startproject ZuCai 会自动生成2个zucai文件夹 cd ZuCai cd ZuCai 进入最下面的ZuCai文件夹 scrapy genspider zucai trade.500.com/jczq/ 开始分析 https://trade.500.com/jczq/ 阅读全文

摘要： 需要安装scrapy pip install scrapy 在此过程中，会出现 Twisted的报错，需要手动下载Twisted（选择32位还是64位需要根据自己的电脑系统而定）安装 安装完成后再安装 scrapy 阅读全文

摘要： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

摘要： Python 环境搭建 可以使用 pycharm+python3.7。使用该环境需要注意在pycharm中下载对应的插件 2.使用pycharm+anaconda anaconda中已经包含有许多的常用插件，不需要额外去下载就可以直接使用。anaconda官网下载很慢可以找别的途径下载 3.使用 V 阅读全文