2021年6月21日
使用代理ip读取html
摘要： urllib.request.ProxyHandler() 可以动态设置代理IP池 urllib.request.build_opener() 将代理IP池中的ip写入该方法生成opener opener.open(url) 打开url 代码如下： # 导入urllib import urllib. 阅读全文
posted @ 2021-06-21 23:38 自己的阿毛 阅读(169) 评论(0) 推荐(0)
Urllib.requset.Request加入请求头部
摘要： 上一个随笔中报错： urllib.error.HTTPError: HTTP Error 418: 百度后，加上头部得以解决。 urllib.request.Request 功能：声明一个request对象。可自定义header等请求信息。 本次，加入一个更多参数的header。 # 导入urlli 阅读全文
posted @ 2021-06-21 23:22 自己的阿毛 阅读(357) 评论(0) 推荐(0)
Urllib.request 抓取网页html
摘要： 语法 urllib.request.urlopen 意思就是打开 url # 导入urllib import urllib.request # 打开url response = urllib.request.urlopen('https://movie.douban.com/', None, 10) 阅读全文
posted @ 2021-06-21 23:09 自己的阿毛 阅读(528) 评论(0) 推荐(0)