随笔分类 -  Big Data

hadoop,storm,spark, and so on
摘要:尝试编写的rabbitmq+spring 框架 阅读全文
posted @ 2015-11-17 13:58 猪头强 阅读(2052) 评论(0) 推荐(1)
摘要:经过一下午的尝试,终于把这个集群的搭建好了,搭完感觉也没有太大的必要,就当是学习了吧,为之后搭建真实环境做基础。以下搭建的是一个Ha-Federation-hdfs+Yarn的集群部署。 首先讲一下我的配置: 四个节点上的启动的分别是: 1.qiang117:active namenode, ... 阅读全文
posted @ 2015-08-23 23:06 猪头强 阅读(1014) 评论(0) 推荐(0)
摘要:ssh免密码登陆 阅读全文
posted @ 2015-08-19 00:03 猪头强 阅读(3502) 评论(0) 推荐(0)
摘要:那玩大数据,想做个大数据的从业者,必须了解在生产环境下搭建集群哇?由于hadoop是apache上的开源项目,所以版本有些混乱,听说都在用Cloudera的cdh5来弄?后续研究这个吧,就算这样搭建不适合真实环境,也算是了解hadoop的一些基本东西了。 搭建之前要做一些前期的准备,如果买不起... 阅读全文
posted @ 2015-08-14 11:16 猪头强 阅读(420) 评论(0) 推荐(0)
摘要:之前看了很多理论上的知识,感觉云里雾里的,所以赶紧着手搭建个单机版的hadoop跑一跑,开启自学大数据技术的第一步~~ 1.在开源的世界里,我就是个土豪,要啥有啥,所以首先你得有个jdk,有钱所以用最新的java8,hadoop使用的是hadoop2.6.0。 2.配置好java后,可以在/etc/... 阅读全文
posted @ 2015-08-12 10:18 猪头强 阅读(348) 评论(4) 推荐(0)