摘要：
1. 编程 pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema- 阅读全文
posted @ 2022-07-25 11:14
jsqup
阅读(61)
评论(0)
推荐(0)
摘要：
1. 编程规范 map阶段：map任务的核心代码 reduce阶段：reduce任务的核心代码 Driver驱动类：整合MR程序中的所有资源；Driver会提供代码运行。 阅读全文
posted @ 2022-07-23 10:25
jsqup
阅读(37)
评论(0)
推荐(0)
摘要：
JavaProcess任务类型 command:执行一条shell命令 process:启动一个进程 JavaProcess作业类型案例 1）新建一个azkaban的maven工程 2）创建包名：com.atguigu 3）创建AzTest类 package com.atguigu; public 阅读全文
posted @ 2022-07-22 16:56
jsqup
阅读(66)
评论(0)
推荐(0)
摘要：
作业依赖案例 需求：JobA和JobB执行完了，才能执行JobC nodes: - name: jobA type: command config: command: echo "AAA" - name: jobB type: command config: command: echo "BBB" 阅读全文
posted @ 2022-07-22 16:16
jsqup
阅读(52)
评论(0)
推荐(0)
摘要：
 阅读全文
posted @ 2022-07-22 15:47
jsqup
阅读(53)
评论(0)
推荐(0)
摘要：
在hdfs的namenode所在结点的Hadoop的安装目录的etc/hadoop目录下创建一个dfs.hosts.exclude文件 填写dfs需要的退役的节点主机名 [root@node1 hadoop]# pwd /opt/app/hadoop-2.8.5/etc/hadoop [root@n 阅读全文
posted @ 2022-07-21 18:17
jsqup
阅读(110)
评论(0)
推荐(0)
摘要：
克隆 克隆当前的虚拟机 修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为192.168.200.225 重新启动网络服务使其生效 systemctl restart network 配置主机名的映射 阅读全文
posted @ 2022-07-21 17:57
jsqup
阅读(137)
评论(0)
推荐(0)
摘要：
作用 |组件|作用| | | | |NameNode|1.用于去存储和管理整个HDFS集群的元数据（在namenode中维护了两个文件edits和fsimage） 2.用于管理整个集群的状态及维护数据的一致性| |SecondaryNode|帮助我们NameNode完成相关的元数据的操作| |edi 阅读全文
posted @ 2022-07-21 16:26
jsqup
阅读(63)
评论(0)
推荐(0)
摘要：
pom.xml文件 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <!-- 引入Hadoop的编程依赖 hadoop-common hadoop-client 版本是统一的 都是2.8 阅读全文
posted @ 2022-07-21 12:33
jsqup
阅读(115)
评论(0)
推荐(0)
摘要：
作用 统一管理引入项目所需要的第三方依赖 引入的jar包没有依赖别的包 引入的jar包的版本和依赖的其他的jar包的版本是否适配 帮助我们管理项目的生命周期 1.清除以前的编译的class文件 2.重新编译项目代码 3.测试项目能不能通过 4.将项目打成一个jar包 5.部署运行 maven下载 m 阅读全文
posted @ 2022-07-21 11:46
jsqup
阅读(29)
评论(0)
推荐(0)
浙公网安备 33010602011771号