随笔分类 -  hadoop

Hadoop之WordCount程序实现
摘要：程序的功能：假设现在有n个文本，WordCount程序就是利用MR计算模型来统计这n个文本中每个单词出现的总次数。 1.创建maven工程导入依赖 2.编写WordcountMapper实现类，需要继承Mapper类 3.编写WordcountReducer实现类，需要继承Reducer类 4.编写 阅读全文

posted @ 2018-11-23 17:19 优品三悦 阅读(237) 评论(0) 推荐(0)

hadoop家族简介
摘要：一：什么是ApacheHadoop呢？ 首先来说Hadoop是一种分析和处理大数据的软件平台。是Apache的一个用Java语言所实现的开源软件的框架。 在大量计算机组成的集群当中实现了对于海量的数据行 的分布式计算。下面呢给大家用一句话描述一下。 二：文件存储 1、HDFS(Hadoop分布式文件 阅读全文

posted @ 2018-11-16 22:30 优品三悦 阅读(901) 评论(0) 推荐(0)

Hadoop+Hbase完全分布式安装部署
摘要：软件下载：链接：https://pan.baidu.com/s/1pMHeC0MPsdY3wdVmNji8yg 提取码：q2vi 1、需要准备3台linux x64 服务器，一台作为master，2台作为prepare备份机 master 192.168.213.132 prepare1 192.1 阅读全文

posted @ 2018-11-16 14:49 优品三悦 阅读(1081) 评论(0) 推荐(0)

Hadoop与hbase单机环境安装
摘要：一、Linux系统设置 1，关闭防火墙 关闭防火墙，方便外部访问。CentOS 7版本以下输入:关闭防火墙 service iptables stop CentOS 7 以上的版本输入： systemctl stop firewalld.service 2，时间设置 输入: date 查看服务器时间 阅读全文

posted @ 2018-11-16 14:48 优品三悦 阅读(1304) 评论(0) 推荐(0)

导航