摘要： 项目简介 利用scrapy抓取51job上的python招聘信息，关键词为“python”，范围：全国 利用redis的set数据类型保存抓取过的url，现实避免重复抓取； 利用脚本实现每隔一段时间，网站更新后自动抓取； 利用mongo和mysql，分别保存抓取结果。 主要内容 网站分析 进入51j 阅读全文