2023年6月3日
Caused by ProxyError('Cannot connect to proxy.', OSError(0, 'Error'))
摘要： 爬网站的时候总是报错，也设置了常见的user-agent，最后原来是开了VPN，关了正常 requests.exceptions.ProxyError: HTTPSConnectionPool(host='hao.360.com', port=443): Max retries exceeded w 阅读全文
posted @ 2023-06-03 12:22 青草山 阅读(1778) 评论(0) 推荐(0)
2023年5月7日
安装爬虫框架记录（第三方库）
摘要： 安装指令：python -m pip install .whl文件 安装Scrapy3-1.0.1，需要的依赖库如下： 1 zope.interface>=4.4.2 2 constantly>=15.1 3 incremental>=21.3.0 4 Automat>=0.8.0 5 six-1. 阅读全文
posted @ 2023-05-07 21:52 青草山 阅读(46) 评论(0) 推荐(0)
解决Could not find a version that satisfies the requirement思路
摘要： 安装python第三方库的时候会提示报错缺少依赖库，报错如下： ERROR: Could not find a version that satisfies the requirement 模块名 (from automat) (from versions: none)ERROR: No match 阅读全文
posted @ 2023-05-07 21:22 青草山 阅读(4300) 评论(0) 推荐(0)
手动安装第三方库
摘要： 无法通过PyCharm中可获得库安装，则需要去Python官网上下载并手动安装，下图为PyCharm中安装位置。 Python官网PyPI（服务器在国外，网络有卡顿）：https://pypi.org/ 搜索需要的第三方库，并下载文件：1.官网提供有安装指令， 2.下载后缀为 < .whl > 文件 阅读全文
posted @ 2023-05-07 16:35 青草山 阅读(169) 评论(0) 推荐(0)
2023年5月5日
认识网页结构和爬虫
摘要： 网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JScript（活动脚本语言） HTML HTML 是整个网页的结构，相当于整个网站的框架。带“＜”、“＞”符号的都是属于 HTML 的标签，并且标签都是成对出现的。 常见的标签如下： <html>..</html> 阅读全文
posted @ 2023-05-05 21:47 青草山 阅读(56) 评论(0) 推荐(0)