炫舞风中

摘要： NameNode故障后，可以采用如下两种方法恢复数据。 在此之前需要启动SecondaryNameNode节点（和NameNode节点不要放到一台服务器上，影响性能） 配置hdfs-site.xml文件 <property> <name>dfs.namenode.secondary.http-add 阅读全文

摘要： 上一节我们学的API操作HDFS系统都是框架封装好的，这一节，我们将自己实现上诉的API操作。 1、获取文件系统 /** * 获取FileSystem对象 * @return * @throws URISyntaxException * @throws IOException * @throws I 阅读全文

摘要： 1、获取FileSystem对象 /** * 获取FileSystem对象 * @return * @throws URISyntaxException * @throws IOException * @throws InterruptedException */ private FileSyste 阅读全文

摘要： 1、maven依赖 1 <dependency> 2 <groupId>org.apache.hadoop</groupId> 3 <artifactId>hadoop-common</artifactId> 4 <exclusions> 5 <exclusion> 6 <groupId>com.g 阅读全文

摘要： 1、基本语法 hadoop fs 具体命令 或者 hdfs dfs 具体命令（dfs是fs的实现类） 2、常用命令实操 2.1、-help：输出这个命令参数 hadoop fs -help rm 2.2、-ls：显示目录信息 hadoop fs -ls / 2.3、-ls -R：递归查看 hadoo 阅读全文

摘要： hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。 1、默认配置文件 要获取的默认文件 文件存放在Hadoop的jar包中的位置 [core-default.xml] hadoop-common-3.1.4.jar/ 阅读全文

摘要： 备注：此处的hadoop版本是3.1.4 一、配置集群 1.1、配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle 阅读全文

摘要： 备注：此处的hadoop版本是3.1.4。 一、修改配置文件 1.1、修改etc/hadoop/core-site.xml <!-- 指定HDFS中NameNode的地址，指定了hdfs协议，此时不能按照本地模式操作了 --> <property> <name>fs.defaultFS</name> 阅读全文

摘要： 一、官方Grep案例 1.1、在hadoop的安装目录下面创建一个input文件夹 mkdir input 1.2、将etc/hadoop目录下面的xml配置文件复制到input文件夹中 cp etc/hadoop/*.xml input 1.3、执行share目录下的MapReduce程序 had 阅读全文

摘要： 一、引入maven依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-websocket</artifactId> </dependency> 二、websocket配 阅读全文