摘要:”您的连接不是私密连接““SSLError”,爬虫如何处理 遇到这种情况的话,爬虫代码不能像在浏览器可以安装证书, 返回 SSLError, 要怎么处理呢? 解决方法: 在请求的时候添加一个参数 → verify=False # 默认是开启验证的,False的话就可以绕过验证 import requ
阅读全文
摘要:今天在升级模块时,遇到了这个错误 ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问。: 'c:\\[路径太长,这里被我删了]\\site-packages\\~umpy\\.libs\\libopenblas
阅读全文
摘要:python中用matplotlib绘制图标的时候,发现中文字体显示不出来。 解决方法就是在matplotlib中设置字体,添加以下代码就好了 import matplotlib matplotlib.rc("font", family='YouYuan') # family= 后面放字体 它支持的
阅读全文
摘要:携带cookie的两种方式 直接将cookie放在请求头headers中一起作为参数 import requests url = 'xxxxxx' headers_ = { 'User-Agent': 'xxxxxxx', 'Cookie': 'xxxxx' } res_ = requests.ge
阅读全文
摘要:在获取网页源代码之后,对数据进行提取。 def get_goods_info(self): ''' 解析得到商品信息字段 ''' li_list = self.driver.find_elements_by_xpath('//div[@class="lego-pc-search-list pc-se
阅读全文
摘要:列表,放多个 User-Agent,每次随机提取 user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/5
阅读全文
摘要:计算机只能识别二进制语言,网络上传输为了方便迅速,数据的类型为字节类型【bytes类型】 python不好操作字节类型的数据,因此要把它变成字符串类型进行操作【string类型】 后端:字符串类型 > 二进制字符串类型【方便网络上数据的传输】编码 encode 了解如何编码: 字符串类型数据.enc
阅读全文
摘要:(1) 客户机输入url(如www.baidu.com)后,会向DNS服务器发送请求 (2) DNS服务器中保存了url域名和IP地址(xxx.xxx.xxx.xxx)的对应关系,它会将对应的IP地址返回 (3) 客户机本质上就是通过IP地址找到对应的web服务器(比如百度的服务器)请求页面 (4)
阅读全文
摘要:**构成完整网页的资源:**html + js + css + jpg等 html:简单理解为文字 js:简单理解为动作,比如点击 css:美观,比如文字的大小颜色 jpg:图片【或其他静态资源】 response 和 elements 内容不同的原因? (1) 一个url请求,只能获取一个对应
阅读全文