总访问量: PV

DataScience && DataMining && BigData

随笔分类 - 1.HDFS

第一阶段HDFS
摘要:使用java.net.URL访问HDFS文件系统 HDFS的API使用说明: 1.如果要访问HDFS,HDFS客户端必须有一份HDFS的配置文件 也就是hdfs-site.xml,从而读取Namenode的信息。 2.每个应用程序也必须拥有访问Hadoop程序的jar文件 3.操作HDFS,也就是H 阅读全文
posted @ 2017-03-20 14:22 CJZhaoSimons 阅读(15253) 评论(0) 推荐(1) 编辑
摘要:hadoop项目地址:http://hadoop.apache.org/ NameNode、DataNode详解 (一)分布式文件系统概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就 阅读全文
posted @ 2017-03-05 19:05 CJZhaoSimons 阅读(30813) 评论(2) 推荐(9) 编辑
摘要:HDFS API提供了一种二进制文件支持,直接将<key,value>对序列化到文件中,该文件格式是不能直接查看的,可以通过hadoop dfs -text命令查看,后面跟上SequenceFile的HDFS路径 通过写入SequenceFile和读入SequenceFile文件,打成jar包在Ha 阅读全文
posted @ 2017-01-30 20:19 CJZhaoSimons 阅读(938) 评论(0) 推荐(0) 编辑
摘要:HDFS 命令深入浅出~ [root@neusoft-master ~]# hadoop dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] 阅读全文
posted @ 2017-01-28 12:37 CJZhaoSimons 阅读(2396) 评论(0) 推荐(0) 编辑
摘要:1.查看HDFS下所有的文件存储位置信息 1 package Hdfs; 2 3 import java.net.URI; 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.fs.BlockLocati 阅读全文
posted @ 2017-01-09 23:41 CJZhaoSimons 阅读(656) 评论(0) 推荐(0) 编辑