摘要：
今天继续学习hadoop OutputFormat: 这是在数据输出到文件之前的一步，通过这一步可以设置将数据输入到mysql 文件等 可以根据自己的需求输入到不同的存储中 *******进入reducer 的都是key值相同的集合 学习写了一个写入log文件的案例 Mapper public cl 阅读全文
posted @ 2021-08-01 15:51
不咬牙
阅读(75)
评论(0)
推荐(0)
摘要：
Shuffle 机制 Map 方法之后，Reduce 方法之前的数据处理过程称之为 Shuffle。 我自己理解成一个将数据清洗整理的过程 ，用快排 通过索引就是key 按字典顺序来排序 以下都是在shuffle中的操作： Partition分区 求将结果按照条件输出到不同文件中（分区），这一步在流 阅读全文
posted @ 2021-07-31 19:01
不咬牙
阅读(56)
评论(0)
推荐(0)
摘要：
今天继续hadoop后续学习 FileInputFormat 切片源码解析 默认情况下，切片大小=blocksize， 文件大小大于block（块）的1.1倍（SPLIT_SLOP）才会分成两个任务 切片原理按照每一个文件单独切片 设置切片大小 extInputFormat是一个文件一个分片 默认分 阅读全文
posted @ 2021-07-30 18:43
不咬牙
阅读(46)
评论(0)
推荐(0)
摘要：
今天突然发生问题一开始只有xshell连接hadoop102连接失败 103104是正常的 我就点了几次那个xshell的打开 然后vm就卡了 开始未响应 卡了很久 我只能关机 再开虚拟机还是连不上然后一下子又未响应 又关机 几次未响应之后三台都连不上了 经过好几个小时的调试，调试各种配置， 我的所 阅读全文
posted @ 2021-07-29 15:52
不咬牙
阅读(62)
评论(0)
推荐(0)
摘要：
学习mapreduce编程 分别写三个类 Mapper类 package com.j.mapreduce.wordcount2; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; im 阅读全文
posted @ 2021-07-28 15:57
不咬牙
阅读(54)
评论(0)
推荐(0)
摘要：
今天继续学习hdfs （1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 （2）NameNode 返回是否可以上传。 （3）客户端请求第一个 Block 上传到哪几个 DataNode 服 阅读全文
posted @ 2021-07-27 16:53
不咬牙
阅读(40)
评论(0)
推荐(0)
摘要：
查看了很多资料之后，我成功解决maven报错， 需要在VM 这个地方输入证书相关数据-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true 这一行十分关键，这样才能下载 副本的个数这个参数的设置是有优先级的， 阅读全文
posted @ 2021-07-26 18:45
不咬牙
阅读(39)
评论(0)
推荐(0)
摘要：
今天继续学习hdfs的shell操作 HDFS 直接操作 1）-ls: 显示目录信息 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo 2）-cat：显示文件内容 [atguigu@hadoop102 hadoop-3.1.3]$ had 阅读全文
posted @ 2021-07-25 21:18
不咬牙
阅读(29)
评论(0)
推荐(0)
摘要：
今天学习了HDFS的组成和 部分shell操作 HDFS 1） NameNode（nn）：就是Master，它 是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略； （3）管理数据块（Block）映射信息； （4）处理客户端读写请求。 2） DataNode：就是Slave。N 阅读全文
posted @ 2021-07-24 17:12
不咬牙
阅读(55)
评论(0)
推荐(0)
摘要：
配置集群 单独启动关闭组件 后学习到用shell脚本一条命令开启和关闭集群 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop 集群 " ech 阅读全文
posted @ 2021-07-23 16:07
不咬牙
阅读(39)
评论(0)
推荐(0)
浙公网安备 33010602011771号