摘要：
我们坑同时在运行2个项目。而2个不同的项目所使用的node版本又不一样，或者是要用更新的node版本进行试验或学习。这种情况下，对于维护多个版本的node将会是一键非常麻烦的事情，而nvm就是为了解决这个问题而产生的，他可以方便的在同一台设备上进行多个node版本之间的切换，而这个正是nvm的价值所 阅读全文
摘要：
中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改再把数据传递出去。不同 阅读全文
摘要：
爬虫中间件 爬虫中间件的用法与下载器中间件非常相似，只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response；爬虫中间件的作用对象是爬虫，更具体地来说，就是写在spiders文件夹下面的各个文件。它们的关系，在Scrapy的数据流图上可以很好地区分开来，如下图所示。 阅读全文
摘要：
一个简单的需求 假设我们需要写一个微博爬虫，老板给的需求如下： 开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了： 接下来开始做报警功能，逻辑也非常简单： 再来看看统计关键词的功能，这个功能背后有一个网页，会实时显示抓取数据量的变化情况，可以显示每分钟、每小时的某个关键词的抓取量。 这个功 阅读全文