07 2021 档案

7月31日
摘要：Shuffle 机制 Map 方法之后，Reduce 方法之前的数据处理过程称之为 Shuffle。 我自己理解成一个将数据清洗整理的过程 ，用快排 通过索引就是key 按字典顺序来排序 以下都是在shuffle中的操作： Partition分区 求将结果按照条件输出到不同文件中（分区），这一步在流 阅读全文
posted @ 2021-07-31 19:01 不咬牙 阅读(56) 评论(0) 推荐(0)
7月30日
摘要：今天继续hadoop后续学习 FileInputFormat 切片源码解析 默认情况下，切片大小=blocksize， 文件大小大于block（块）的1.1倍（SPLIT_SLOP）才会分成两个任务 切片原理按照每一个文件单独切片 设置切片大小 extInputFormat是一个文件一个分片 默认分 阅读全文
posted @ 2021-07-30 18:43 不咬牙 阅读(46) 评论(0) 推荐(0)
7月29日
摘要：今天突然发生问题一开始只有xshell连接hadoop102连接失败 103104是正常的 我就点了几次那个xshell的打开 然后vm就卡了 开始未响应 卡了很久 我只能关机 再开虚拟机还是连不上然后一下子又未响应 又关机 几次未响应之后三台都连不上了 经过好几个小时的调试，调试各种配置， 我的所 阅读全文
posted @ 2021-07-29 15:52 不咬牙 阅读(62) 评论(0) 推荐(0)
7月28日
摘要：学习mapreduce编程 分别写三个类 Mapper类 package com.j.mapreduce.wordcount2; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; im 阅读全文
posted @ 2021-07-28 15:57 不咬牙 阅读(54) 评论(0) 推荐(0)
7月27日
摘要：今天继续学习hdfs （1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 （2）NameNode 返回是否可以上传。 （3）客户端请求第一个 Block 上传到哪几个 DataNode 服 阅读全文
posted @ 2021-07-27 16:53 不咬牙 阅读(40) 评论(0) 推荐(0)
7月26日
摘要：查看了很多资料之后，我成功解决maven报错， 需要在VM 这个地方输入证书相关数据-Dmaven.wagon.http.ssl.insecure=true -Dmaven.wagon.http.ssl.allowall=true 这一行十分关键，这样才能下载 副本的个数这个参数的设置是有优先级的， 阅读全文
posted @ 2021-07-26 18:45 不咬牙 阅读(39) 评论(0) 推荐(0)
7月25日
摘要：今天继续学习hdfs的shell操作 HDFS 直接操作 1）-ls: 显示目录信息 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo 2）-cat：显示文件内容 [atguigu@hadoop102 hadoop-3.1.3]$ had 阅读全文
posted @ 2021-07-25 21:18 不咬牙 阅读(29) 评论(0) 推荐(0)
7月24日
摘要：今天学习了HDFS的组成和 部分shell操作 HDFS 1） NameNode（nn）：就是Master，它 是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略； （3）管理数据块（Block）映射信息； （4）处理客户端读写请求。 2） DataNode：就是Slave。N 阅读全文
posted @ 2021-07-24 17:12 不咬牙 阅读(55) 评论(0) 推荐(0)
7月23日
摘要：配置集群 单独启动关闭组件 后学习到用shell脚本一条命令开启和关闭集群 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop 集群 " ech 阅读全文
posted @ 2021-07-23 16:07 不咬牙 阅读(39) 评论(0) 推荐(0)
7月22日
摘要：配置免密登录 Ssh 免密访问 [atguigu@hadoop102 .ssh]$ pwd /home/atguigu/.ssh [atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa 然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（ 阅读全文
posted @ 2021-07-22 17:01 不咬牙 阅读(57) 评论(0) 推荐(0)
7月21日
摘要：由于对linux特别生疏 所以配置的非常慢 可以用ping www.baidu.com 来判断是否连上网络 安装xshell和xftp来链接linux 这一部分win10 可以直接修改保存。 后续是一系列为了安装jdk 和hadoop的工作 通过vm克隆出3台虚拟机，另外如果电脑配置不够的话 ，我选 阅读全文
posted @ 2021-07-21 18:53 不咬牙 阅读(29) 评论(0) 推荐(0)
7月20日
摘要：根据教程 慢慢安装成第一个linux 是centos的， 需要配置一个root 用户 一个使用者的用户 关闭防火墙 随后 通过vm的虚拟机按钮配置虚拟机网络，通过NAT模式将网络IP地址自己写死，同时对自己本机的vm网络适配器进行相应修改 进入linux 中配置网络 随后配置主机名字 ******* 阅读全文
posted @ 2021-07-20 16:05 不咬牙 阅读(29) 评论(0) 推荐(0)