随笔分类 -  hadoop系列

资料 大数据
摘要：hadoop1 hadoop2 大数据 http://t.cn/R4XtNFS 大数据攻城狮专业方向学习路线建议 课程名称 难易程度 基础课 大数据的Linux基础 ★ 基础课 大数据必知的java基础 ★ 基础课 NoSQL与NewSQL数据库引航 ★ 基础课 大数据算法导论 ★★ 工具课 bas 阅读全文
posted @ 2016-01-30 02:24 jhhu 阅读(202) 评论(0) 推荐(0)
hadoop MapReduce 笔记
摘要：1.MapReduce程序开发步骤编写map 和 reduce 程序–> 单元测试-> 编写驱动程序进行验证-> 本地数据集调试 -> 部署到集群运行用到的工具：Junit、Mockito、Ant2.使用Configuration关键点：1、 Configuration类可以加载配置文件，包括系统的... 阅读全文
posted @ 2014-04-23 12:21 jhhu 阅读(860) 评论(0) 推荐(0)
hadoop-1.2.1伪分布模式配置
摘要：1、hadoop-env.sh修改export JAVA_HOME=/Library/Java/Home #增加 JAVA_HOME2、masterslocalhost3、slaveslocalhost4、hdfs-site.xml dfs.replication 1 dfs.bloc... 阅读全文
posted @ 2014-04-23 12:14 jhhu 阅读(327) 评论(0) 推荐(0)
Hadoop及子项目备注
摘要：Hadoop CommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。AvroAvro是doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使ha... 阅读全文
posted @ 2014-04-23 11:20 jhhu 阅读(287) 评论(0) 推荐(0)