摘要：###### 进程池使用基础 当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。 初始化进程池时需要给定最大进程数， 阅读全文

摘要：###### 对比 | scrapy | scrapy-redis | | | | | scheduler(调度器) | scheduler(调度器) | | 请求的处理在调度器中处理 | 将数据存放在redis数据库队列中处理 | | Duplication Filter(重复过滤器) | Dup 阅读全文

摘要：#### 1. Django项目创建（以小说为例） 创建Django项目实例需要的设置项集合，包括数据库配置、Django 配置和应用程序配置。 ```python django-admin startproject demo ``` ![](https://img2023.cnblogs.com/ 阅读全文

摘要：###### 爬虫步骤 1. 新建项目(scrapy startproject xxx)：新建一个新的爬虫项目 2. 制作爬虫（spiders/xxspider.py）：制作爬虫开始爬取网页 3. 明确目标（编写items.py）：明确你想要抓取的目标 4. 存储内容（pipelines.py）：设 阅读全文