文章分类 - Hadoop/Hive
Hadoop/Hive
Data Mining
摘要:原文地址:http://jeffxie.blog.51cto.com/1365360/317460备注:fs.default.name指定NameNode的IP地址和端口号,缺省值是file:///,,表示使用本地文件系统,,用于单机非分布式模式。dfs.replication指定HDFS中每Block被复制的次数,起数据冗余备份的作用。在典型的生产系统中,这个数常常设置为3。7.3. 修改masters这一步只需要在master节点上执行。这个文件存储备master节点的IP或机器名,建议使用机器名,每行一个机器名。主master会将元数据等备份到备master节点,文件位于conf目录下。
阅读全文
摘要:原文地址:http://jeffxie.blog.51cto.com/1365360/3174591. 前言本文的目的是让一个从未接触Hadoop的人,在很短的时间内快速上手,掌握编译、安装和简单的使用。2. Hadoop家族截止2009-8-19日,整个Hadoop家族由以下几个子项目组成:成员名用途Hadoop CommonHadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。AvroAvro是doug cutting主持的RPC项目,有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC,使
阅读全文
摘要:原文: http://blog.csdn.net/cnweike/article/details/7000501Hadoop是一个存储计算框架,主要由两部分组成:存储(Hadoop分布式文件系统-HDFS)计算(MapReduce计算框架)Hadoop分布式文件系统这是一种文件系统实现,类似于NTFS,ext3,ext4等等,不过它是建立在更高的层次之上的。在HDFS上存储的文件被分成块(每块默认未64M,比一般的文件系统块大小大的多,可调)分布在多台机器上,其中的每块又会有多块的冗余备份(默认为3),以增强文件系统的容错能力。这种存储模式与后面将要说明的MapReduce计算模型相得益彰。H
阅读全文
摘要:原文地址:http://rdc.taobao.com/team/top/tag/hadoop-hive-%E5%8D%81%E5%88%86%E9%92%9F%E6%95%99%E7%A8%8B/单台服务器上安装Hadoop和Hive十五分钟教程Posted by 覃 健祥 on 03月 16th, 2011单台服务器上学习Hadoop和Hive十分钟教程Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具。一般的学习者不是太容易找到多台服务器来做集群学习hadoop,所以hadoop官方文档提供了在单台服务器上运行hadoop的指南(hive是基于hadoop
阅读全文

浙公网安备 33010602011771号