2020 年 3月 27 日随笔档案 - $王大少

String类型的数值转Int类型

摘要：用Integer.parseInt(str) 阅读全文

posted @ 2020-03-27 20:08 $王大少阅读(327) 评论(0) 推荐(0)

mapreduce分区

摘要： MapReduce当中的分区：相同key的数据发送到同一个reduce当中去物以类聚，人以群分。分区就是把同一类的数据，划分到一个地方去，划分到同一个reduce当中去直达的火车，上面坐的人都是去同一个地方的默认使用的是HashPartitioner 这个类来对我们的数据进行分区，实现将相同的数据，阅读全文

posted @ 2020-03-27 20:06 $王大少阅读(292) 评论(0) 推荐(0)

LongWritable和Long的转换

摘要： LongWritable转Long Long l =key.get() Long转LongWritable LongWritable lw = new LongWritable(1000000) 阅读全文

posted @ 2020-03-27 13:57 $王大少阅读(1028) 评论(0) 推荐(0)

String类型和Text类型相互转化

摘要： Text类型转String 例子:String s=value.toString() String类型转Text类型例子:Text text = new Text("hello") 阅读全文

posted @ 2020-03-27 13:54 $王大少阅读(6940) 评论(0) 推荐(0)

mapreduce入门和编程步骤

摘要： 1、理解MapReduce思想 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。 Map负责“分”，即把复杂的阅读全文

posted @ 2020-03-27 11:56 $王大少阅读(1092) 评论(0) 推荐(0)

hdfs小文件合并

摘要：由于hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。在我们的hdfs 的shell命令模式下，可以通阅读全文

posted @ 2020-03-27 11:28 $王大少阅读(3235) 评论(0) 推荐(0)

如何给hdfs设置权限

摘要： 1、将hdfs的权限打开，修改hdfs-site.xml（所有机器都要改）2、更改完成之后，hdfs集群要重启阅读全文

posted @ 2020-03-27 10:17 $王大少阅读(2392) 评论(0) 推荐(0)

$王大少

导航