随笔分类 -  hadoop

摘要:转载地址:http://m.blog.csdn.net/blog/le119126/42009281一.导入先修改源码 参考二.改错里面的第3条1.cd到 hadoop-2.6.0-src/hadoop-maven-pluginsmvn intall2.在cd到hadoop-2.6.0-src 目录... 阅读全文
posted @ 2015-12-16 16:56 LT-blogs 阅读(1749) 评论(0) 推荐(0)
摘要:转载地址:http://blog.csdn.net/zhangzhaokun/article/details/44313531(1)安装环境 操作系统:Linux(centos6.5) JDK版本:1.7.0_45 Hadoop版本:hadoop2.2.0 Sqoop版本:s... 阅读全文
posted @ 2015-12-15 23:21 LT-blogs 阅读(1797) 评论(0) 推荐(0)
摘要:转载地址:http://jingpin.jikexueyuan.com/article/47043.html本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行。最后,成功运行scala编写的spark程序。刚开始我的eclipse+maven环... 阅读全文
posted @ 2015-11-18 10:31 LT-blogs 阅读(3057) 评论(0) 推荐(0)
摘要:转载地址:http://my.oschina.net/cjun/blog/475576一、新建java工程,并且导入hadoop相关jar包此处可以直接创建mapreduce项目就可以,不用下面折磨麻烦:4.1.2 新建java工程(需要手动导入hadoop相应jar包),具体如下图所示:4.1.2... 阅读全文
posted @ 2015-11-13 22:00 LT-blogs 阅读(1329) 评论(0) 推荐(0)
摘要:Thinking in BigData(九)大数据hadoop集群下离线数据存储和挖掘架构Thinking in BigData(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解博主大牛啊,先收藏一下 阅读全文
posted @ 2015-10-30 20:29 LT-blogs 阅读(217) 评论(0) 推荐(0)
摘要:hadoop2.2安装教程:http://www.aboutyun.com/thread-7684-1-1.htmlhadoop2.X使用手册1:通过web端口查看主节点、slave1节点及集群运行状态hadoop2.X使用手册2:如何运行自带wordcounthadoop2.2运行mapreduc... 阅读全文
posted @ 2015-10-29 16:43 LT-blogs 阅读(153) 评论(0) 推荐(0)