2019年5月13日

scrapy框架搭建

摘要： 需要安装scrapy pip install scrapy 在此过程中，会出现 Twisted的报错，需要手动下载Twisted（选择32位还是64位需要根据自己的电脑系统而定）安装 安装完成后再安装 scrapy 阅读全文

posted @ 2019-05-13 18:10 哎哎哎哟 阅读(149) 评论(0) 推荐(0)

scrapy基础知识1

摘要： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

posted @ 2019-05-13 18:04 哎哎哎哟 阅读(118) 评论(0) 推荐(0)

准备工作，环境搭建

摘要： Python 环境搭建 可以使用 pycharm+python3.7。使用该环境需要注意在pycharm中下载对应的插件 2.使用pycharm+anaconda anaconda中已经包含有许多的常用插件，不需要额外去下载就可以直接使用。anaconda官网下载很慢可以找别的途径下载 3.使用 V 阅读全文

posted @ 2019-05-13 18:00 哎哎哎哟 阅读(129) 评论(0) 推荐(0)

导航