摘要：
首先定义一个类，然后定义一个逻辑方法run()按顺序写入下面的思路，然后对每一小步用一个方法完成 ，run()方法里面每一步再调用对应的方法。 1.url 知道url地址的规律和总得页码数：构造url地址的列表 start_url,先访问最开始的url，然后按照某种规律循环访问其他的 2.发送请求， 阅读全文
posted @ 2019-08-26 23:37
ctrl_TT豆
阅读(520)
评论(0)
推荐(1)
摘要：
数据提取方法一 利用json 数据交换格式，看起来像python类型（列表，字典）的字符串 使用json之前需要导入 import json 哪里会返回json的数据 浏览器切换到手机版 抓包app json.loads 把json字符串转换为python类型 json.loads(json字符串) 阅读全文
posted @ 2019-08-26 23:21
ctrl_TT豆
阅读(258)
评论(0)
推荐(0)
摘要：
处理cookie相关请求 1.直接携带cookie请求url地址 cookie放在headers中 headers={"User-Agent":"....","Cookie 字符串"} cookie字典传给cookie参数 requests.get(url.cookies=cookie_dict) 阅读全文
posted @ 2019-08-26 22:46
ctrl_TT豆
阅读(207)
评论(0)
推荐(0)
摘要：
使用超时参数 requests.get(url,headers=headers,timeout=3) 3秒内必须返回响应，否则报错 3秒内必须返回响应，否则报错 retrying模块学习 pip install retrying 附上一段两者配合使用的代码 阅读全文
posted @ 2019-08-26 22:32
ctrl_TT豆
阅读(214)
评论(0)
推荐(0)
摘要：
发送get,post请求，获取响应 安装requests模块： pip install requests response=requests.get(url,headers={})#发送get请求，请求url地址对应的响应 response=requests.post(url,headers=,{} 阅读全文
posted @ 2019-08-26 22:22
ctrl_TT豆
阅读(257)
评论(0)
推荐(0)
摘要：
认识HTTP、HTTPS 1.http:超文本传输协议 以明文的形式传输 效率更高，但是不安全 2.https:http+ssl（安全套接字层） 传输之前数据先加密，之后解密获取内容 效率低，但是安全 3.get请求和post请求的区别 get请求没有请求体，post有，get请求把数据放到url地 阅读全文
posted @ 2019-08-26 21:55
ctrl_TT豆
阅读(213)
评论(0)
推荐(0)
浙公网安备 33010602011771号