随笔分类 -  python-爬虫

摘要:# #一、填写请求头 #二、配置程序延迟时间 #三、填写源IP文件 #四、经了解,该接口限制一分钟采集45个 # import requests import json import os from fake_useragent import UserAgent from xlwt import W 阅读全文
posted @ 2021-04-27 11:34 达标 阅读(798) 评论(0) 推荐(0)
摘要:GitHub登录 分析登录页面 开发者工具分析请求 从session请求分析得知: 1.请求的URL为:https://github.com/session 2.该请求为post请求,即需要上传data表单,所以我们需要分析form-data 由form-data分析得知: 1.login:GitH 阅读全文
posted @ 2019-08-12 22:47 达标 阅读(288) 评论(0) 推荐(0)
摘要:一、什么是requests Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库。 相对于urllib库(自带,无需手动安装)而言,requests库的使用显得简单便捷(本质就是封装了urllib3)。 官方文档:http://cn 阅读全文
posted @ 2019-08-12 20:18 达标 阅读(215) 评论(0) 推荐(0)