2017年6月10日
使用scrapy_redis，实时增量更新东方头条网全站新闻
摘要： 存储使用mysql，增量更新东方头条全站新闻的标题 新闻简介 发布时间 新闻的每一页的内容 以及新闻内的所有图片。东方头条网没有反爬虫，新闻除了首页，其余板块的都是请求一个js。抓包就可以看到。 项目文件结构。 这是settings.py 1 # -*- coding: utf-8 -*- 2 3 阅读全文
posted @ 2017-06-10 12:29 北风之神0509 阅读(15149) 评论(6) 推荐(0)