摘要：1.设置代理可参考文章 https://blog.csdn.net/qq_42712552/article/details/88906955 2.在middlewares.py文件中设置 找到xxx_DownloaderMiddleware下载器中间件类,我创建的项目为scrapy_sample，所 阅读全文

摘要：1. 首先设置scrapy断点，参考https://www.cnblogs.com/changbaishan/p/15880018.html, 下面是我的代码： mian.py 与scrapy.cfg在同一层级 from scrapy.cmdline import execute import os 阅读全文

摘要：并发数可以在scrapy项目的settings.py文件中设置。 1.CONCURRENT_ITEMS 是指：最大并发项目数，默认100个。 2.CONCURRENT_REQUESTS 是指：下载器将执行的并发（即同时）请求的最大数量，默认16个。 3.CONCURRENT_REQUESTS_PER 阅读全文

摘要：一. splash介绍 1.Splash 是一个带有 HTTP API 的 javascript 渲染服务。它是一个带有 HTTP API 的轻量级浏览器，使用 Twisted 和 QT5 在 Python 3 中实现。 2.Splash特点： 1)它快速、轻量且无状态，使其易于分发。 2)并行处理 阅读全文

摘要：scrapyd API接口，这里使用postman工具调用，每个接口都添加了scrapyd服务需要的Basic Auth类型用户名和密码。 1.daemonstatus.json接口 检查服务的负载状态 get请求，传参无 #get请求 http://120.xx.xxx.xxx:6800/daem 阅读全文

摘要：一.安装 pip3 install -U gerapy 使用python3.68版本安装gerapy,报错提示：ModuleNotFoundError: No module named 'setuptools_rust' 解决方法更新pip3 pip3 install --upgrade pip 安 阅读全文