2022年4月10日
关于（[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。）的解决方案
摘要： 在爬取一个小站时，遇到了前几十条网页能顺利爬取，但突然报错的情况。报错信息如下：Message=HTTPConnectionPool(host=‘pub.sinoss.net’, port=80): Max retries exceeded with url: /portal/webgate/Cmd 阅读全文
posted @ 2022-04-10 21:51 734969 阅读(3033) 评论(0) 推荐(0)
爬虫爬到read more 或者read full article的解决方法
摘要： 1、两种思路： ①不要去做渲染，也就是直接请求原始页面。然后用lxml或者BS去做解析。 ②使用Selenium模拟浏览器请求，然后再做解析。 2、问题python requests (Caused by SSLError(SSLEOFError(8, ‘EOF occurred in violat 阅读全文
posted @ 2022-04-10 21:48 734969 阅读(70) 评论(0) 推荐(0)