2020年3月8日
摘要：
python3中的urllib库里的重定向判断，响应码出现302为重定向，以访问百度为例： from urllib import request class NoRedirHandler(request.HTTPRedirectHandler): def http_error_302(self, r 阅读全文
摘要：
python3中的urllib库下载功能，这里主要用到了urlretrieve，以下载百度图片为例，前面为url地址，后面为文件名。 import urllib.request urllib.request.urlretrieve("https://timgsa.baidu.com/timg?ima 阅读全文
摘要：
python3中的urllib设置本地代理： import urllib.request import urllib.parse # 113.79.75.104:9797 # 创建handler handler = urllib.request.ProxyHandler({'http': '114. 阅读全文
摘要：
python3中的requests访问百度的Android手机浏览器： import requests def downloadasAndroid(url): headers={"User-Agent":"Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BL 阅读全文
摘要：
python3中的urllib库和requests库的使用，这里主要介绍下什么是Ajax,以及对于网页Ajax的爬取，以豆瓣电影为例，分别用urllib库和requests库进行抓取。 一、什么是Ajax? “Ajax 即“Asynchronous Javascript And XML”（异步 Ja 阅读全文
摘要：
python3中的urllib的post请求的使用，以访问拉钩为例，虽然出现操作太频繁的运行，但是也可以熟悉下相关post请求的操作。 import urllib.request #拉钩fiddle抓包POST https://www.lagou.com/jobs/positionAjax.json 阅读全文
摘要：
python3中的urllib库的get使用，以访问智联为例，虽然现在智联需要验证码了，但是也不妨我们做个练习，巩固下get的使用。 #如果一个网站屏蔽了你 #解决办法： （1)模拟浏览器 ； （2）伪装浏览器 import urllib import urllib.request from url 阅读全文
摘要：
下面为python3中的urllib库对于get请求的使用方法，接口的地方需要拼接地址，以访问百度为例，附上代码： import urllib from urllib import request from urllib import parse #导入编码 解码 headers={"User-Ag 阅读全文
摘要：
python3中的urllib网页的编码（urlencode）、解码(unquote)，以访问百度为例，在接口输入字符的时候为中文，但是计算机需要编码才能识别。 from urllib import request from urllib import parse #导入编码 解码包 #百度url 阅读全文
摘要：
下面主要是python3中的urllib库中的相关知识及User-Agent设置： 一、什么是User-Agent？ User-Agent是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。用较为普通的一点来说，是一种向访问网站提供你所使用的浏览器类型、操作系统及版本、CP 阅读全文