摘要：// <![CDATA[ MathJax.Hub.Config({ tex2jax: { inlineMath: [ ['$','$'], ["\\(","\\)"] ], displayMath: [ ['$$','$$'], ["\\[","\\]"] ], processEscapes: tr 阅读全文

摘要：基于 Scrapy-redis 两种形式的分布式爬虫 redis 分布式部署 1、scrapy 框架是否可以自己实现分布式? 答:不可以，原因有二: 其一: 因为多台机器上部署的 Scrapy 会各自拥有各自的调度器，这样就使得多台机器无法分配 start_url 列表中的url, (多台机器无法共 阅读全文

摘要：reuqests_test In [2]: import requests In [ ]: # 爬取 一张图片， 并做持久化保存 import requests url = 'https://ss1.bdstatic.com/70cFvXSh_Q1YnxGkpoWK1HF6hhy/it/u=2381 阅读全文