2024年11月5日
mapreduce流程
摘要： 逻辑切片 1、逻辑切片对block块进行切分，切分的结果将影响map任务的数量 2、split切片的大小默认是128M，与block块大小一样，一个block块会有一个切片 3、如果读取到最后一个block块时会与前一个block进行合并，合并后的大小如果大于1281.1将会各自生成一个切片，合并后 阅读全文
posted @ 2024-11-05 22:05 w我自横刀向天笑 阅读(29) 评论(0) 推荐(0)
mapreducr案例_好友关系
摘要： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T 阅读全文
posted @ 2024-11-05 21:49 w我自横刀向天笑 阅读(9) 评论(0) 推荐(0)
mapreduce案例_词频统计
摘要： 统计文件中英文单词出现的次数 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apa 阅读全文
posted @ 2024-11-05 21:47 w我自横刀向天笑 阅读(29) 评论(0) 推荐(0)