python简单爬虫项目:爬取360摄影图片及其信息

- 项目URL:https://images.so.com/
- 项目简介:爬取360摄影图片及信息存储到数据库mongodb中
- 项目所需库/框架:
- scrapy框架
- pymongo库
- sys库
- urllib库
- json库
- 项目实操:
-
使用cmd创建项目和爬虫:
scrapy startproject images360 scrapy genspider images images.so.com -
- 创建start_requests函数,拼接url,设置为初始url
- 修改parse函数,用于解析数据,提取信息并存储到mongodb中
-

浙公网安备 33010602011771号