I'm_江河湖海

摘要： ** 协程 (微线程)–用处多，重点** 当调度切换时靠寄存器上下文和栈保存要使用时再调用（即可不会因io传输数据卡壳从而耗时... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(30) 评论(0) 推荐(0)

摘要： ** 协程 (微线程)–用处多，重点** 当调度切换时靠寄存器上下文和栈保存要使用时再调用（即可不会因io传输数据卡壳从而耗时... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(17) 评论(0) 推荐(0)

摘要：一. 下载代理池下载中间件（Downloader Middlewares）位于scrapy引擎和下载器之间的一层组件。作用：... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(17) 评论(0) 推荐(0)

摘要：基于scrapy-redis两种形式的分布式爬虫 1.scrapy框架是否可以自己实现分布式？不可以。原因有二。其一：因为多台机... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(16) 评论(0) 推荐(0)

摘要：基于scrapy-redis两种形式的分布式爬虫 1.scrapy框架是否可以自己实现分布式？不可以。原因有二。其一：因为多台机... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(11) 评论(0) 推荐(0)

摘要：增量式爬虫当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(31) 评论(0) 推荐(0)

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(12) 评论(0) 推荐(0)

摘要：一. 同步爬取 1. 普通爬取 # 普通爬取from time import sleepimport timefrom multip... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(23) 评论(0) 推荐(0)

摘要：在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产进程和消费进程的工作能力来提高程序的整体处理数据的速... 阅读全文

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(21) 评论(0) 推荐(0)

posted @ 2022-10-07 20:42 I'm_江河湖海阅读(28) 评论(0) 推荐(0)