摘要：
在同步请求时，使用asyncio.Lock，在异步请求中使用redis分布式锁来对需要修改数据的代码块进行加锁，一次保护数据的完整性和一致性 阅读全文
posted @ 2025-02-24 11:52
布都御魂
阅读(127)
评论(0)
推荐(0)
摘要：
面试官：您好，请问您在爬虫项目中是如何使用中间件的？ 我：您好，我在爬虫项目中广泛使用了中间件来提高效率和稳定性。以下是我使用的一些关键中间件： 请求中间件：我使用请求中间件来添加请求头、代理和认证信息，以防止被目标网站识别和封锁。例如，我会动态更改User-Agent来模拟不同的浏览器访问。 响应 阅读全文
posted @ 2025-02-24 11:42
布都御魂
阅读(8)
评论(0)
推荐(0)
浙公网安备 33010602011771号