随笔分类 -  分布式系统学习

scrapy 爬去网页（1）
摘要：第一次爬去https://segmentfault.com/t/python?type=newest&page=1 首先定义爬去的字段： 编写爬虫： 编写PIPlines 结果爬去了3456条数据源码在https://github.com/FizLBQ/SpiderPython/tree/Scrap 阅读全文
posted @ 2016-03-31 17:21 gopher-lin 阅读(227) 评论(0) 推荐(0)
RabbitMQ 学习
摘要：你是否遇到过两个（多个）系统间需要通过定时任务来同步某些数据？你是否在为异构系统的不同进程间相互调用、通讯的问题而苦恼、挣扎？如果是，那么恭喜你，消息服务让你可以很轻松地解决这些问题。消息服务擅长于解决多系统、异构系统间的数据交换（消息通知/通讯）问题，你也可以把它用于系统间服务的相互调用（RPC） 阅读全文
posted @ 2016-03-30 15:07 gopher-lin 阅读(115) 评论(0) 推荐(0)