摘要：1.字符串处理 将字符串中的数字替换成其两倍的值，例如： 修改前："AS7G123m (d)F77k" 修改后："AS14G246m (d)F154k" 个人思路：先用正则表达式将其中的数字匹配出来进行乘2操作，然后将字符串根据其中的数字进行切割，得到一个字符列表，最终将乘以2后的数字和原有的字符进 阅读全文

摘要：一、写在前面 在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务，是可以用Celery来做到加速爬取的，那么，这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速！ 二、知识补充 1.class celery.group group这个类表示创建一组要并行执行的任务，不过一组 阅读全文

摘要：一、Celery简介 Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。它是一个任务队列，专注于实时处理，同时还支持任务调度。 所谓任务队列，是一个逻辑上的概念，可以将抽象中的任务发送到指定的执行任务的组件，任务队列可以跨线程或机器运行。 Cel 阅读全文

摘要：一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 阅读全文