Dlimeng

2018年4月1日

摘要： url:Spark介绍系列03--RDD 一.RDD的依赖关系 RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 1.窄依赖上图左侧是父级窄依赖指的是每一个父RDD的Partition最多被子RDD的阅读全文

posted @ 2018-04-01 11:26 Dlimeng 阅读(16) 评论(0) 推荐(0)

Spark介绍系列03--RDD

摘要：有些基础用法就不详细介绍，有疑问的伙伴互相交流。一.RDD的介绍 RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩阅读全文

posted @ 2018-04-01 10:56 Dlimeng 阅读(8) 评论(0) 推荐(0)

Spark介绍系列03--RDD_李孟_新浪博客

posted @ 2018-04-01 10:56 Dlimeng 阅读(8) 评论(0) 推荐(0)

2018年3月31日

Spark介绍系列02--安装集群

摘要：一.介绍集群安装模式：独立 - 包含在Spark中的简单集群管理器，可以轻松设置集群。 Apache Mesos - 一个通用的集群管理器，也可以运行Hadoop MapReduce和服务应用程序。 Hadoop YARN - Hadoop 2中的资源管理器。本文是基于yarn的。二.安装阅读全文

posted @ 2018-03-31 15:43 Dlimeng 阅读(12) 评论(0) 推荐(0)

Spark介绍系列02--安装集群_李孟_新浪博客

posted @ 2018-03-31 15:43 Dlimeng 阅读(9) 评论(0) 推荐(0)

Spark介绍系列01

摘要：一.简介 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa 阅读全文

posted @ 2018-03-31 15:34 Dlimeng 阅读(10) 评论(0) 推荐(0)

Spark介绍系列01_李孟_新浪博客

posted @ 2018-03-31 15:34 Dlimeng 阅读(11) 评论(0) 推荐(0)

hadoop基准测试总结

摘要： hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar TestDFSIO -write -nrFiles 100 -fileSize 100 1 阅读全文

posted @ 2018-03-31 15:27 Dlimeng 阅读(8) 评论(0) 推荐(0)

hadoop基准测试总结_李孟_新浪博客

摘要： hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar TestDFSIO -write -nrFiles 100 -fileSize 100 1 阅读全文

posted @ 2018-03-31 15:27 Dlimeng 阅读(12) 评论(0) 推荐(0)

2017年12月2日

hive hwi配置

摘要： hdp 2.4 对应的hive版本是1.2.1如果是hdp 2.4 以及以下的版本安装hive hwi的方法： 1.先安装ant Hive Web UI内部是需要Ant来进行编译的，所以需要事先安装ant。去上面提供的第二个网址链接中，下载最新版本的ant。解压tar -zxvf apache- 阅读全文

posted @ 2017-12-02 21:24 Dlimeng 阅读(19) 评论(0) 推荐(0)

公告