2017年5月23日
分析ajax请求抓取今日头条关键字美图
摘要： 1 # 目标：抓取今日头条关键字美图 2 # 思路： 3 # 一、分析目标站点 4 # 二、构造ajax请求，用requests请求到索引页的内容，正则+BeautifulSoup得到索引url 5 # 三、对索引url请求，得到图片url与标题，下载并保存到数据库，本次使用MongDB 6 # 四、开启循环与多进程，对多页内容遍历与抓取 7 8 #问题一、为什... 阅读全文
posted @ 2017-05-23 15:45 道高一尺 阅读(1370) 评论(0) 推荐(0)