摘要: [root@localhost ~]# wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm -bash: wget: 未找到命令 我们先安装下wget [root@localhost ~] yum -y 阅读全文
posted @ 2019-07-02 12:31 东东w 阅读(186) 评论(0) 推荐(0)
摘要: ## # zookeeper的基本功能和应用场景 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 阅读全文
posted @ 2019-07-02 12:30 东东w 阅读(380) 评论(0) 推荐(0)
摘要: 安装hadoop集群--hdfs 大数据软件 链接:https://pan.baidu.com/s/1-3PYLHMgvvONawJq55hstQ 提取码:izqf 安装hadoop集群--hdfs 大数据软件 链接:https://pan.baidu.com/s/1-3PYLHMgvvONawJq 阅读全文
posted @ 2019-07-02 11:51 东东w 阅读(274) 评论(0) 推荐(0)
摘要: # mapreduce运行平台YARN mapreduce程序应该是在很多机器上并行启动,而且先执行map task,当众多的maptask都处理完自己的数据 后,还需要启动众多的reduce task,这个过程如果用用户自己手动调度不太现实,需要一个自动化的调度平 台——hadoop中就为运行ma 阅读全文
posted @ 2019-07-02 11:51 东东w 阅读(623) 评论(0) 推荐(0)
摘要: spark RDD spark RDD RDD概述 什么是RDD RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性 阅读全文
posted @ 2019-07-02 06:55 东东w 阅读(148) 评论(0) 推荐(0)