大数据和AI躺过的坑

2017年3月29日

摘要：摘要在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Cluster更适用于交互，调试模式，以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种阅读全文

posted @ 2017-03-29 16:27 大数据和AI躺过的坑阅读(2029) 评论(0) 推荐(0)

Spark Standalone与Spark on YARN的几种提交方式

摘要：不多说，直接上干货！ Spark Standalone的几种提交方式别忘了先启动spark集群！！！ spark-shell用于调试，spark-submit用于生产。 1.spark-shell client 2.spark-submit cluster Spark on YARN的几种提交方式阅读全文

posted @ 2017-03-29 15:54 大数据和AI躺过的坑阅读(3016) 评论(0) 推荐(0)

Spark on YARN简介与运行wordcount（master、slave1和slave2）（博主推荐）

摘要：前期博客 Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz）（master、slave1和slave2）（博主推荐） Spark运行模式概述 Spark On YARN模式这是一种很有前景的部署模式。但限于阅读全文

posted @ 2017-03-29 10:41 大数据和AI躺过的坑阅读(5865) 评论(0) 推荐(0)

Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz）（master、slave1和slave2）（博主推荐）

摘要：说白了 Spark on YARN模式的安装，它是非常的简单，只需要下载编译好Spark安装包，在一台带有Hadoop YARN客户端的的机器上运行即可。 Spark on YARN简介与运行wordcount（master、slave1和slave2）（博主推荐） Spark on YARN分为两阅读全文

posted @ 2017-03-29 10:32 大数据和AI躺过的坑阅读(3577) 评论(0) 推荐(0)

2017年3月28日

Spark standalone模式的安装（spark-1.6.1-bin-hadoop2.6.tgz）（master、slave1和slave2）

摘要：前期博客 Spark运行模式概述 Spark standalone简介与运行wordcount（master、slave1和slave2）开篇要明白（1）spark-env.sh 是环境变量配置文件（2）spark-defaults.conf （3）slaves 是从节点机器配置文件（4）m 阅读全文

posted @ 2017-03-28 10:00 大数据和AI躺过的坑阅读(1871) 评论(0) 推荐(0)

2017年3月27日

CentOS6.5下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

摘要：第一步： Ambari安装之Ambari安装前准备(CentOS6.5）（一）第二步： Ambari安装之部署本地库（镜像服务器）（二）第三步： Ambari安装之安装并配置Ambari-server（三）第四步： Ambari安装之部署hdp单节点集群第五步： Ambari安装之部署3个节阅读全文

posted @ 2017-03-27 22:38 大数据和AI躺过的坑阅读(6559) 评论(0) 推荐(0)

Ambari安装之部署单节点集群

摘要：前期博客大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Ambari架构原理 Ambari安装之Ambari安装前准备(CentOS6.5）（一） Ambari安装之部署本地库（镜像服务器）（二）部署hdp单节点集群（1）部署Agent 1) 注册并安装agent 阅读全文

posted @ 2017-03-27 22:35 大数据和AI躺过的坑阅读(12901) 评论(2) 推荐(0)

Ambari安装之部署3个节点的HA分布式集群

摘要：前期博客 Ambari安装之部署单节点集群其实，按照这个步骤是一样的。只是按照好3个节点后，再做下HA即可。部署3个节点的HA分布式集群（1）添加机器和添加服务的操作类似，如下图之后的添加ambari03、ambari04操作就和部署ambari02类似，可以参照前面的步骤。这里不多赘述。阅读全文

posted @ 2017-03-27 22:35 大数据和AI躺过的坑阅读(12636) 评论(3) 推荐(0)

Ambari安装之部署本地库（镜像服务器）（二）

摘要：部署本地库（镜像服务器）（1）下载HortWorks官网上的3个库到本地（也可以在线下载，但是速度会很慢）我们先把hortworks官网上需要下载的3个库下载到本地（这个还是需要很长时间的，当然你也可以在线下载，通过wget但是由于文件比较大，所以下载会非常慢）然后把他上传到我们的镜像服务器上。阅读全文

posted @ 2017-03-27 22:34 大数据和AI躺过的坑阅读(12428) 评论(0) 推荐(0)

Ambari安装之安装并配置Ambari-server（三）

摘要：不多说，直接上干货！前期博客 Ambari安装之部署本地库（镜像服务器）（二）安装并配置Ambari-server （1）检查仓库是否可用（2）安装Ambari-server （3）配置Ambari-server 注意：如果你是root用户，则这里就写root （推荐）好比我这里是hado 阅读全文

posted @ 2017-03-27 22:34 大数据和AI躺过的坑阅读(23564) 评论(2) 推荐(0)

大数据和人工智能躺过的坑

公告