摘要: 本文主要介绍以下几个内容:1、使用githbu创建自己的博客2、将博客域名映射到自己的域名3、如果写博客一、使用github创建自己的博客具体可参考https://pages.github.com/1、在github上创建一个repository,名称为username.github.com的形式,如jinhong-lu.github.com2、下载github for mac :https:... 阅读全文
posted @ 2015-07-10 11:12 lujinhong 阅读(321) 评论(0) 推荐(0) 编辑
摘要: (一)理论基础更多理论以后再补充,或者参考书籍1、trident是什么?Trident is a high-level abstraction for doing realtime computing on top of Storm. It allows you to seamlessly intermix high throughput (millions of messages per se... 阅读全文
posted @ 2015-07-10 10:10 lujinhong 阅读(1433) 评论(1) 推荐(1) 编辑
摘要: 一、原理介绍本文内容参考:https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts(一)使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时,需要知道这个topic有多少个分区,以及这些分区放在哪个kafka节点(broker)上,ZkHost... 阅读全文
posted @ 2015-07-10 10:09 lujinhong 阅读(2622) 评论(0) 推荐(0) 编辑
摘要: 一、理论概述0、参考资料入门资料:https://developers.google.com/protocol-buffers/docs/javatutorial更详细的资料:For more detailed reference information, see the Protocol Buffer Language Guide, the Java API Reference, the Jav... 阅读全文
posted @ 2015-07-10 10:04 lujinhong 阅读(275) 评论(0) 推荐(0) 编辑
摘要: 一、理论介绍(一)相关资料1、官方资料,非常详细: http://kafka.apache.org/documentation.html#quickstart2、有一篇翻译版,基本一致,有些细节不同,建议入门时先读此文,再读官方文档。若自认英语很强,请忽视: http://www.linuxidc.com/Linux/2014-07/104470.htm3、还有一文也可以:http://w... 阅读全文
posted @ 2015-07-10 09:55 lujinhong 阅读(1513) 评论(1) 推荐(0) 编辑
摘要: 二、安装部署一、storm伪分布式安装(一)环境准备1、OS:debian 72、JDK 7.0(二)安装zookeeper1、下载zookeeper并解压wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gztar -zxvf zookeeper-3.4.6.tar.gz2、... 阅读全文
posted @ 2015-07-10 09:52 lujinhong 阅读(1566) 评论(0) 推荐(0) 编辑
摘要: 1、crontab(1)crontab每10秒执行一次* * * * * /bin/date >>/tmp/date.txt* * * * * sleep 10; /bin/date >>/tmp/date.txt(2)还可以用以下方式表达stringmeaning-------------@rebootRun... 阅读全文
posted @ 2015-07-10 09:29 lujinhong 阅读(292) 评论(0) 推荐(0) 编辑
摘要: (一)storm拓扑的并行度可以从以下4个维度进行设置:1、node(服务器):指一个storm集群中的supervisor服务器数量。2、worker(jvm进程):指整个拓扑中worker进程的总数量,这些数量会随机的平均分配到各个node。3、executor(线程):指某个spout或者bo... 阅读全文
posted @ 2015-06-17 11:23 lujinhong 阅读(816) 评论(0) 推荐(0) 编辑
摘要: 二者互备 阅读全文
posted @ 2015-06-10 16:23 lujinhong 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 一、快速入门(一)下载安装1、下载并解压wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gztar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz2、将sqoop中的命令添加至$PATH中e... 阅读全文
posted @ 2015-06-06 11:40 lujinhong 阅读(231) 评论(0) 推荐(0) 编辑