随笔分类 -  网络通信

网络通信过程中遇到的问题以及收集的资料
摘要:通过thrift远程调用框架,结合hadoop1.x中的thriftfs,编写了一个针对hadoop2.x的thriftfs。本文介绍了程序所需类库(boost、libthrift)的编译、thrift程序开发简单流程,同时提供thriftfs客户端和服务器端的源代码。水平有限,欢迎各位园友指正。 阅读全文
posted @ 2016-03-19 18:34 小小鸟的大梦想 阅读(1489) 评论(0) 推荐(0)
摘要:Httpfs是hadoop2.x中hdfs项目的内置应用,基于tomcat和jesery,对外提供完备HDFS操作的RESTful接口,无需安装客户端,可方便实现数据交互,如从windows访问存储在hdfs上的文件。本文通过Httpfs说明文档,实现了一个基于libcurl和jsoncpp的httpfs客户端程序(C++)。 阅读全文
posted @ 2016-03-19 08:22 小小鸟的大梦想 阅读(2519) 评论(0) 推荐(0)
摘要:将实际项目中做的任务监控系统进行总结。监控系统接收上游系统下发的计划,并将任务调度给下游系统执行。支持多下游系统同时运行,具有一定的分布式处理和错误恢复能力。 阅读全文
posted @ 2016-01-30 15:08 小小鸟的大梦想 阅读(1601) 评论(0) 推荐(0)
摘要:采用多线程方式,处理与多种系统的实时交互;写日志线程定时将中间结果写入到文件; 阅读全文
posted @ 2016-01-09 14:02 小小鸟的大梦想 阅读(370) 评论(0) 推荐(0)