摘要: 爬取豆瓣电影TOP 250的电影存储到mongodb中 1.创建项目sp1 2.创建一个爬虫 3.编辑爬虫内容doubanmovie.py 8. 检查日志信息 阅读全文
posted @ 2018-03-19 17:40 叨客厨子 阅读(860) 评论(0) 推荐(0)
摘要: 下载中间件随机IP代理以及随机User_Agent 1.在settings.py中设置开启代理功能 2.编辑middlewares.py 中间件文件 阅读全文
posted @ 2018-03-19 17:38 叨客厨子 阅读(572) 评论(0) 推荐(0)