随笔分类 -  scrapy

scrapy--将爬取得数据保存到数据库中
摘要：首先要做的： 建库 article 建表 article 在cmd中的工作环境中安装mysql的驱动 mysqlclient `pip install mysqlclient 如果是使用centos 需要 yum install python devel mysql devel` 接下来保存数据库两 阅读全文
posted @ 2017-07-31 23:45 Young_G 阅读(4609) 评论(0) 推荐(0)
通过scrapy内置的ImagePipeline下载图片到本地、并提取本地保存地址
摘要：1.通过scrapy内置的ImagePipeline下载图片到本地 2.获取图片保存本地的地址 1.通过scrapy内置的ImagePipeline下载图片到本地 1）在settings.py中打开 ITEM_PIPELINES 的注释，在 ITEM_PIPELINES 中加入 2）settings 阅读全文
posted @ 2017-06-25 23:52 Young_G 阅读(9009) 评论(2) 推荐(0)