摘要: 一、爬虫策略 1.主服务器先根据spider.all set排重,再 lpush request_url 到spider.wait List中,并且 sadd request_url 到 set中; 2.两台从服务器 brpop 出最后一条url 进行解析,再抓取数据; 二、缓存策略 1.主服务器通 阅读全文
posted @ 2018-02-26 22:16 J.Kuai 阅读(472) 评论(0) 推荐(0)
摘要: 一、为什么要迁移 我的七月小说站点放在JCloud上,恕我直言,配合我的Aliyun服务器进行数据交互,那是相当的慢,没办法,京东云上面十几块钱的公网ip,也就这样了。 所以我决定把web服务器和数据库部署到一起。 二、迁移前导步骤 迁移过程中顺便记录一手,供后面再次迁移到别的服务器上查阅,省的麻烦 阅读全文
posted @ 2018-02-26 12:35 J.Kuai 阅读(3573) 评论(0) 推荐(1)