随笔分类 -  爬虫

requests库爬取需要登录的网站
摘要：#!usr/bin/env python #-*- coding:utf-8 _*- """ @author:lenovo @file: 登录人人网.py @time: 2019/10/{DAY} """ # import requests # # 创建session对象，可以保存Cookie值 # 阅读全文
posted @ 2019-11-07 15:20 龙卷风之殇 阅读(1891) 评论(0) 推荐(0)
scrapy框架爬取多级页面
摘要：spides.py items.py pipelines.py settings.py 阅读全文
posted @ 2019-10-29 10:12 龙卷风之殇 阅读(1609) 评论(0) 推荐(0)
scrapy框架综合运用 爬取天气预报 + 定时任务
摘要：爬取目标网站： http://www.weather.com.cn/ 具体区域天气地址： http://www.weather.com.cn/weather1d/101280601.shtm(深圳) 开始： 编写spider: 编写管道PIPELINE: pipelines.py是用来处理收尾爬虫抓 阅读全文
posted @ 2019-08-06 16:30 龙卷风之殇 阅读(862) 评论(1) 推荐(0)
爬取酷漫网漫画 和漫客栈漫画
摘要：后面付费怎么爬取 稍后更新，下载到23页的时候，要vip，可惜这个网站跳不过，那么我们尝试其他网址 下面是xpath爬取方法，可跳过vip验证，直接爬取付费内容（漫客栈的vip） 阅读全文
posted @ 2019-06-11 10:47 龙卷风之殇 阅读(1287) 评论(0) 推荐(0)