合集-Python

摘要:爬虫项目之使用多线程爬取4K桌面网站壁纸由于这次搜索的目标网页是分页式的,所以采用requests+lxml技术爬取数据。但是这次的网站图片数据累计4296张图片,如果采用单线程爬取这些数据,那么爬完所有数据将多花费一些时间,而如果采用多线程ThreadPoolExecutor技术,那么爬取数据的速度将会大大提高。 阅读全文
posted @ 2025-04-18 21:12 JiGuang2048 阅读(244) 评论(0) 推荐(0)
摘要:Python requests代理(Proxy)使用教程在 Python 的 requests 库中,使用代理服务器可以让你通过不同的网络路由发送 HTTP 请求。代理服务器可以帮助隐藏真实 IP 地址、绕过地理限制或进行负载均衡等操作。 阅读全文
posted @ 2025-04-18 20:34 JiGuang2048 阅读(808) 评论(0) 推荐(0)
摘要:爬虫项目之爬取4K高清壁纸由于此网页是通过不断下拉的方式刷新图片,而不是通过分页的方式加载新的图片,所以不能使用requests+xpath技术直接爬取该网页,所以采用Selenium操作网页,控制网页下滑获取最新图片。下面让我们来看代码。 阅读全文
posted @ 2025-04-15 21:29 JiGuang2048 阅读(281) 评论(2) 推荐(0)