总访问量： PV

DataScience && DataMining && BigData

01 2017 档案

SequenceFile实例操作
摘要：HDFS API提供了一种二进制文件支持，直接将<key,value>对序列化到文件中，该文件格式是不能直接查看的，可以通过hadoop dfs -text命令查看，后面跟上SequenceFile的HDFS路径 通过写入SequenceFile和读入SequenceFile文件，打成jar包在Ha 阅读全文
posted @ 2017-01-30 20:19 CJZhaoSimons 阅读(1026) 评论(0) 推荐(0)
HDFS 命令深入浅出
摘要：HDFS 命令深入浅出~ [root@neusoft-master ~]# hadoop dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] 阅读全文
posted @ 2017-01-28 12:37 CJZhaoSimons 阅读(2481) 评论(0) 推荐(0)
启动原生Hadoop集群或伪分布环境
摘要：一：启动Hadoop 集群或伪分布安装成功之后，通过执行./sbin/start-all.sh启动Hadoop环境 通过jps命令查看当前启动进程是否正确~ [root@neusoft-master hadoop-2.6.0-cdh5.6.0]# pwd/opt/hadoop-2.6.0-cdh5. 阅读全文
posted @ 2017-01-28 07:24 CJZhaoSimons 阅读(597) 评论(0) 推荐(0)
HDFS的Java客户端操作代码(查看HDFS下所有的文件存储位置信息)
摘要：1.查看HDFS下所有的文件存储位置信息 1 package Hdfs; 2 3 import java.net.URI; 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.fs.BlockLocati 阅读全文
posted @ 2017-01-09 23:41 CJZhaoSimons 阅读(760) 评论(0) 推荐(0)
HDFS的Java客户端操作代码(查看HDFS下所有的文件或目录)
摘要：1.查看HDFS下所有的文件或目录 1 package Hdfs; 2 3 import java.io.IOException; 4 import java.net.URI; 5 import org.apache.hadoop.conf.Configuration; 6 import org.a 阅读全文
posted @ 2017-01-09 23:22 CJZhaoSimons 阅读(2010) 评论(0) 推荐(0)
HDFS的Java客户端操作代码(查看HDFS下的文件是否存在)
摘要：1.查看HDFS目录下得文件是否存在 1 package Hdfs; 2 3 import java.io.IOException; 4 import java.net.URI; 5 import org.apache.hadoop.conf.Configuration; 6 import org. 阅读全文
posted @ 2017-01-09 23:09 CJZhaoSimons 阅读(3603) 评论(0) 推荐(0)
HDFS的Java客户端操作代码(HDFS删除文件或目录)
摘要：1.HDFS删除文件或目录 1 package Hdfs; 2 3 import java.io.IOException; 4 import java.net.URI; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.apa 阅读全文
posted @ 2017-01-09 22:56 CJZhaoSimons 阅读(2226) 评论(0) 推荐(0)
Java代码操作HDFS(在/user/root/下面創建目錄)
摘要：1.创建HDFS目录并打成jar包 1 package Hdfs; 2 3 import java.io.IOException; 4 import java.net.URI; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org 阅读全文
posted @ 2017-01-09 22:22 CJZhaoSimons 阅读(1192) 评论(0) 推荐(0)
第二种方式读取并显示HDFS中的内容
摘要：1 package Hdfs; 2 3 import java.io.InputStream; 4 import java.net.URI; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.apache.hadoop.fs. 阅读全文
posted @ 2017-01-09 21:00 CJZhaoSimons 阅读(446) 评论(0) 推荐(0)
HDFS的java客户端操作代码(Windows上面打jar包，提交至linux运行)
摘要：1.通过java.net.URL实现屏幕显示demo1文件的内容 1 package Hdfs; 2 import java.io.InputStream; 3 import java.net.URL; 4 import org.apache.hadoop.fs.FsUrlStreamHandler 阅读全文
posted @ 2017-01-09 19:56 CJZhaoSimons 阅读(443) 评论(1) 推荐(0)
HDFS的Java客户端操作代码(HDFS的查看、创建)
摘要：1.HDFS的put上传文件操作的java代码： 1 package Hdfs; 2 3 import java.io.FileInputStream; 4 import java.io.FileNotFoundException; 5 import java.io.IOException; 6 i 阅读全文
posted @ 2017-01-09 17:57 CJZhaoSimons 阅读(720) 评论(1) 推荐(0)
CentOs6.8安装Git并安装oh my zsh
摘要：(一)git安装 1.下载git2.4.9或其他版本 Index of /pub/software/scm/git git各个版本下载链接： https://www.kernel.org/pub/software/scm/git/ 2.安装git依赖的包 [root@neusoft-master g 阅读全文
posted @ 2017-01-09 13:39 CJZhaoSimons 阅读(923) 评论(1) 推荐(0)
搭建maven开发环境测试Hadoop组件HDFS文件系统的一些命令
摘要：1.PC已经安装Eclipse Software，测试平台windows10及Centos6.8虚拟机 2.新建maven project 3.打开pom.xml,maven工程项目的pom文件加载以下内容 1 <project xmlns="http://maven.apache.org/POM/ 阅读全文
posted @ 2017-01-09 11:16 CJZhaoSimons 阅读(610) 评论(0) 推荐(0)