python简单爬虫项目:爬取360摄影图片及其信息

image

  • 项目URLhttps://images.so.com/
  • 项目简介:爬取360摄影图片及信息存储到数据库mongodb中
  • 项目所需库/框架
  • scrapy框架
  • pymongo库
  • sys库
  • urllib库
  • json库
  • 项目实操:
  1. 使用cmd创建项目和爬虫:

     scrapy startproject images360
     scrapy genspider images images.so.com
    
  2. 修改images.py:

    • 创建start_requests函数,拼接url,设置为初始url
    • 修改parse函数,用于解析数据,提取信息并存储到mongodb中
  3. 修改settings.py:

posted @ 2019-02-21 14:15  jixn  阅读(285)  评论(0)    收藏  举报