心情半佛半神仙

摘要： redis-cluster的优势 · 高并发，redis号称单例10万并发，但是毕竟是有限的。 · 分布式架构，把数据分配到不同的位置，一起完成一项工作，减轻的集中式的压力，解决内存过载的问题。 数据库分布理论 分布式数据库就是把数据集划分到多个节点上，每个节点负责整个数据的一个子集。 常见的分区规 阅读全文

摘要： Scrapy初步 Scrapy基于Twisted设计实现，Twisted的特殊特性是以事件驱动，并且对于异步的支持性很好，集成了高性能的异步下载，队列，分布式，持久化等。 Scrapy的安装 在Linux中可以直接在命令行中输入：pip install scrapy 在windows中： - pip 阅读全文