在软件中体悟人生 在人生中感悟软件

专注Web项目设计、实现和管理
  博客园  :: 首页  :: 联系 :: 订阅 订阅  :: 管理

随笔分类 -  【Hadoop】

根据从零开始学习Hadoop系列学习。

HDFS --访问

摘要：Hdfs的访问方式有两种，第一：类似linux命令，hadoop shell。第二：java API方式。先看第一种。FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefr... 阅读全文

posted @ 2015-03-23 06:15 王景 阅读(1052) 评论(0) 推荐(0)

[转]HDFS中JAVA API的使用

摘要：HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类： Configuration类：该类的对象封转了客户端或者服务器的配... 阅读全文

posted @ 2015-03-23 06:13 王景 阅读(245) 评论(0) 推荐(0)

【从零开始学习Hadoop】--2.HDFS分布式文件系统

摘要：1. 文件系统从头说2. Hadoop的文件系统3. 如何将文件复制到HDFS3.1 目录和文件结构3.2 FileCopy.java文件的源代码3.3 编译3.4打包3.5 运行3.6 检查结果1. 文件系统从头说 文件系统的作用就是永久存储数据。计算机可以存储数据的地方是内存，硬盘，优盘，SD... 阅读全文

posted @ 2015-03-23 06:11 王景 阅读(801) 评论(0) 推荐(0)

【从零开始学习Hadoop】--1.Hadoop的安装

摘要：第1章 Hadoop的安装1. 操作系统2. Hadoop的版本3. 下载Hadoop4. 安装Java JDK5. 安装hadoop6. 安装rsync和ssh7. 启动hadoop8. 测试hadoop.9. 练习Hadoop的安装比较繁琐，有如下几个原因：其一，Hadoop有非常多的版本；其二... 阅读全文

posted @ 2015-03-23 05:53 王景 阅读(1263) 评论(0) 推荐(0)

【转】Hadoop命令大全

摘要：Hadoop命令大全本节比较全面的向大家介绍一下Hadoop命令，欢迎大家一起来学习，希望通过本节的介绍大家能够掌握一些常见Hadoop命令的使用方法。下面是Hadoop命令的详细介绍。1、列出所有HadoopShell支持的命令$bin/hadoopfs-help2、显示关于某个命令的详细信息$b... 阅读全文

posted @ 2015-03-19 22:42 王景 阅读(261) 评论(0) 推荐(0)

【转】Hadoop FS Shell命令

摘要：FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对 HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中sc... 阅读全文

posted @ 2015-03-19 05:44 王景 阅读(1103) 评论(0) 推荐(0)