2020年8月17日
wordcount打包在集群上运行+hadoop序列化+MapReduce并行度决定机制
摘要： 1、wordcount打包在集群上运行 点击idea右侧的mavenproject 成功之后： 然后重命名为1.jar上传到我们的linux集群中 之后在linux中运行刚刚上传的jar文件 之后就会成功运行了。 2、hadoop序列化 首先神魔是序列化： 序列化就是把内存中的对象，转换成字节序列( 阅读全文
posted @ 2020-08-17 20:55 喜欢爬的孩子 阅读(295) 评论(0) 推荐(0)
MapReduce学习+wordcount
摘要： 1、关于mapreduce的定义： MapReduce是一个 分布式运算程序的编程框架，是用户开发"基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群. 上。 2、mapredu 阅读全文
posted @ 2020-08-17 17:35 喜欢爬的孩子 阅读(181) 评论(0) 推荐(0)