随笔分类 -  Hadoop的那些事

MapReduce计算模型二
摘要：之前写过关于Hadoop方面的MapReduce框架的文章MapReduce框架Hadoop应用(一) 介绍了MapReduce的模型和Hadoop下的MapReduce框架，此文章将进一步介绍mapreduce计算模型能用于解决什么问题及有什么巧妙优化。 MapReduce到底解决什么问题？ Ma 阅读全文
posted @ 2018-12-09 16:53 追求沉默者 阅读(1004) 评论(0) 推荐(0)
关于Pulsar与Kafka
摘要：在本系列的Pulsar和Kafka比较文章中，我将引导您完成我认为重要的几个领域，并且对于人们选择强大，高可用性，高性能的流式消息传递平台至关重要。消息传递模型(Messaging model)是用户在选择流式消息传递系统时应首先考虑的事情。消息传递模型应涵盖以下3个方面： Message cons 阅读全文
posted @ 2018-11-19 14:14 追求沉默者 阅读(34093) 评论(0) 推荐(5)
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/cli2/Option
摘要：今天，在做canopy算法实例时，遇到这个问题，所以记录下来。下面是源码： 将程序编译打包成JAR并运行如下： 但出现如下错误： 最后，发现是将mahout根目录下的相应的jar包复制到hadoop-2.4.1/share/hadoop/common/lib文件夹下时，少复制了mahout-core 阅读全文
posted @ 2017-09-27 00:28 追求沉默者 阅读(1030) 评论(0) 推荐(0)
MapReduce框架Hadoop应用(一)
摘要：Google对其的定义：MapReduce是一种变成模型，用于大规模数据集(以T为级别的数据)的并行运算。用户定义一个map函数来处理一批Key-Value对以生成另一批中间的Key-Value对，再定义一个reduce函数将所有这些中间的有相同Key的value合并起来。“Map”(映射)和“Re 阅读全文
posted @ 2017-08-06 13:34 追求沉默者 阅读(572) 评论(0) 推荐(1)
win10 vmware下Linux系统联网
摘要：本来，这个问题网上资源很多的，但是就因为多，就变得杂了，对于许多新手，并不理解为啥，故记录下来方便以后使用。此处我采用配置VWmare虚拟网关(上学期刚刚学计算机网络，正好可以复习下)。关于虚拟机下Linux系统的安装就略过，此处就以RHEL 6.5为例。 1、配置序列网络网关部分：在VMware界 阅读全文
posted @ 2017-08-01 22:27 追求沉默者 阅读(4118) 评论(0) 推荐(0)