摘要：
搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。 阅读全文
posted @ 2021-08-07 14:01
weiweidetiandi
阅读(46)
评论(0)
推荐(0)
摘要：
FIFO： 支持单独列，先进先出 容量调度器：支持多队列，保证先进来的任务优先执行 公平调度器：支持多队列，保证每个任务公平的享有队列资源 阅读全文
posted @ 2021-08-07 14:01
weiweidetiandi
阅读(31)
评论(0)
推荐(0)
摘要：
客户端请求resource manager 一个application resource manager 回去application提交路径以及id 客户端提交job所需要的资源 资源提交完成，申请运行mrappmaster resource manager将客户端的请求形成一个一个task,由FI 阅读全文
posted @ 2021-08-07 13:57
weiweidetiandi
阅读(29)
评论(0)
推荐(0)
摘要：
1、客户端在提交的时候会根据配置形成一个一个任务分配规划 2、客户端提交信息 3、yum会计算出maptask的个数 4、文件默认以textInputFormat进入map端 5、map端进行逻辑计算 6、向环形缓冲区写数据，一半写索引，一半写数据 7、在写的时候会进行分区和排序，排序规则为字典排序 阅读全文
posted @ 2021-08-07 10:15
weiweidetiandi
阅读(159)
评论(0)
推荐(0)
摘要：
1、采用har归档，将小文件归并为har文件 2、采用CombineTextInputFormat 3、开启jvm：没有小文件的时候不要开启，因为jvm会一直占据的task，知道任务结束才释放，浪费资源 阅读全文
posted @ 2021-08-07 10:06
weiweidetiandi
阅读(73)
评论(0)
推荐(0)
摘要：
客户端请求nomanode上传数据 namenode应答可以上传 客户端请求上传第一个block，请返回datanode namenode返回那些datanode可以上传数据 客户端请求datanode建立block通道 datanode应答 客户端上传packet 等到上传完毕，给namenode 阅读全文
posted @ 2021-08-07 10:02
weiweidetiandi
阅读(41)
评论(0)
推荐(0)
摘要：
客户端请求namenode下载文件 namenode返回目标文件的元数据 客户端请求datanode读取数据 datanode传输数据 阅读全文
posted @ 2021-08-07 09:58
weiweidetiandi
阅读(37)
评论(0)
推荐(0)
摘要：
搭建： 1、安装jdk 2、配置ssh免密 3、配置hadhoop配置文件 4、格式化namende 阅读全文
posted @ 2021-08-07 09:54
weiweidetiandi
阅读(72)
评论(0)
推荐(0)
摘要：
hadhoop常用端口号： 1、50070 访问hdfs端口号 2、8088 访问mr运行情况端口号 3、9000 客户端访问hadhoop端口号 阅读全文
posted @ 2021-08-07 09:16
weiweidetiandi
阅读(71)
评论(0)
推荐(0)
浙公网安备 33010602011771号