Python 通用爬虫 和讯博客 scrapy

目标站点需求分析

通用爬虫,获取和讯博客所有博文

 

涉及的库

scrapy,re,requests,mysql

URL RULE

 


解析单页源码

 


保存到数据库

 


结果

 

posted @ 2019-02-19 20:40  逐梦~前行  阅读(414)  评论(0)  编辑  收藏  举报