LCZ

摘要： HDFS文件和文件夹判断 @Test public void testListStatus() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件配置信息 Configuration configuratio 阅读全文

摘要： HDFS文件详情查看 查看文件名称、权限、长度、块信息 @Test public void testListFiles() throws IOException, InterruptedException, URISyntaxException { // 1获取文件系统 Configuration 阅读全文

摘要： HDFS文件更名和移动 @Test public void testRename() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration = new 阅读全文

摘要： HDFS文件下载 @Test public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration 阅读全文

摘要： HDFS文件上传（测试参数优先级） 1）编写源代码 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configu 阅读全文

摘要： 1）-copyToLocal：从HDFS拷贝到本地 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./ 2）-get：等同于copyToLocal，生产环境更习惯用get [atguigu@ha 阅读全文

摘要： 1）启动Hadoop集群（方便后续的测试） [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 2）-help：输出这个命令参数 [atgui 阅读全文

摘要： 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDFS定义 HDFS（Hadoop Distrib 阅读全文

摘要： Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。 Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器。 MapReduce将计算过程分为两个阶段：Map和Reduce 1）Map 阅读全文

摘要： Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera内部集成了很多大数据框架，对应产品CDH。2008 Hortonworks文档较好，对应产品HDP。2011 Hortonworks 阅读全文