摘要：1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特... 阅读全文

摘要：l扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。l成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。l高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（pa... 阅读全文

摘要：(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。... 阅读全文

摘要：1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client)，被调用方(server)。 1.3 client主动发起请求，调用指定ip和port的server中的方法，把调用结果返回... 阅读全文

摘要：1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1.... 阅读全文

摘要：在CentOS下安装配置hadoop的时候，总显示因为网络端口而导致主机无法访问服务器，遂打算先关闭一下防火墙。偶然看到防火墙的配置操作说明，感觉不错。执行”setup”命令启动文字模式配置实用程序,在”选择一种工具”中选择”防火墙配置”,然后选择”运行工具”按钮,出现防火墙配置界面,将”安全级别”... 阅读全文

摘要：1、在主服务器master下生成密钥 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2、将密钥放在 ~/.ssh/authorized_keys $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 3、对生成的文 阅读全文

摘要：通过我们前面的操作，已经可以编译并且打包产生适合本机的hadoop包，目录是/usr/local/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0。使用root用户登录配置文件位于/usr/local/hadoop-2.2.0-src/hadoop-d... 阅读全文

摘要：Hadoop2的学习资料很少，只有官网的少数文档。如果想更深入的研究hadoop2，除了仅看官网的文档外，还要学习如何看源码，通过不断的调试跟踪源码，学习hadoop的运行机制。 1.安装CentOS 我使用的是CentOS6.5，下载地址是，选择CentOS-6.5-i386.iso 下载... 阅读全文