随笔分类 -  爬虫

scrapy 创建项目
摘要：域名：www.baidu.com 建立全站爬取 scrapy genspider t crawl 项目 域名 跑服务 ：scrapy crawl 项目名 阅读全文
posted @ 2020-01-14 14:46 酷爱。 阅读(102) 评论(0) 推荐(0)
scrapy爬虫案例数据存入MongoDB
摘要：爬虫py文件 pipelines.py 文件 存入Mongo时要注意settings.py的配置 注释部分需要打开 settings.py文件 items.py 遇到问题 raise NameError("Module '%s' doesn't define any object named '%s 阅读全文
posted @ 2020-01-14 11:41 酷爱。 阅读(1406) 评论(0) 推荐(0)