$王大少

mapreduce执行job打印的日志聚合

摘要：如果两个reduce分别在两台机器上运行,各自产生的日志,都保存在各自的机器上，所以要看完整地日志必须开启日志聚合功能yarn-site.xml更改设置阅读全文

posted @ 2020-03-28 17:14 $王大少阅读(309) 评论(0) 推荐(0)

String类型的数值转Int类型

摘要：用Integer.parseInt(str) 阅读全文

posted @ 2020-03-27 20:08 $王大少阅读(327) 评论(0) 推荐(0)

mapreduce分区

摘要： MapReduce当中的分区：相同key的数据发送到同一个reduce当中去物以类聚，人以群分。分区就是把同一类的数据，划分到一个地方去，划分到同一个reduce当中去直达的火车，上面坐的人都是去同一个地方的默认使用的是HashPartitioner 这个类来对我们的数据进行分区，实现将相同的数据，阅读全文

posted @ 2020-03-27 20:06 $王大少阅读(292) 评论(0) 推荐(0)

LongWritable和Long的转换

摘要： LongWritable转Long Long l =key.get() Long转LongWritable LongWritable lw = new LongWritable(1000000) 阅读全文

posted @ 2020-03-27 13:57 $王大少阅读(1028) 评论(0) 推荐(0)

String类型和Text类型相互转化

摘要： Text类型转String 例子:String s=value.toString() String类型转Text类型例子:Text text = new Text("hello") 阅读全文

posted @ 2020-03-27 13:54 $王大少阅读(6940) 评论(0) 推荐(0)

mapreduce入门和编程步骤

摘要： 1、理解MapReduce思想 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。 Map负责“分”，即把复杂的阅读全文

posted @ 2020-03-27 11:56 $王大少阅读(1092) 评论(0) 推荐(0)

hdfs小文件合并

摘要：由于hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。在我们的hdfs 的shell命令模式下，可以通阅读全文

posted @ 2020-03-27 11:28 $王大少阅读(3235) 评论(0) 推荐(0)

如何给hdfs设置权限

摘要： 1、将hdfs的权限打开，修改hdfs-site.xml（所有机器都要改）2、更改完成之后，hdfs集群要重启阅读全文

posted @ 2020-03-27 10:17 $王大少阅读(2392) 评论(0) 推荐(0)

操作hdfs的数据,出现winUtils.exe错误的时候解决方案

摘要：第一步：解压hadoop-2.6.0-cdh5.14.0.zip第二步：放到一个没有中文，没有空格的路径下面去第三步：配置windows的HADOOP_HOME环境变量第四步：将hadoop.dll文件放置到C:\Windows\System32里面去第五步：关机重启阅读全文

posted @ 2020-03-26 21:49 $王大少阅读(347) 评论(0) 推荐(0)

idea中一些快捷键

摘要： ctrl+shit T 查找类ctrl+T 查找实现类ctrl+O 查看实现的方法阅读全文

posted @ 2020-03-26 20:59 $王大少阅读(83) 评论(0) 推荐(0)

导航

公告