03 2018 档案

Spark介绍系列02--安装集群
摘要：一.介绍 集群安装模式： 独立 - 包含在Spark中的简单集群管理器，可以轻松设置集群。 Apache Mesos - 一个通用的集群管理器，也可以运行Hadoop MapReduce和服务应用程序。 Hadoop YARN - Hadoop 2中的资源管理器。 本文是基于yarn的。 二.安装 阅读全文
posted @ 2018-03-31 15:43 Dlimeng 阅读(12) 评论(0) 推荐(0)
Spark介绍系列02--安装集群_李孟_新浪博客
摘要：一.介绍 集群安装模式： 独立 - 包含在Spark中的简单集群管理器，可以轻松设置集群。 Apache Mesos - 一个通用的集群管理器，也可以运行Hadoop MapReduce和服务应用程序。 Hadoop YARN - Hadoop 2中的资源管理器。 本文是基于yarn的。 二.安装 阅读全文
posted @ 2018-03-31 15:43 Dlimeng 阅读(9) 评论(0) 推荐(0)
Spark介绍系列01
摘要：一.简介 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa 阅读全文
posted @ 2018-03-31 15:34 Dlimeng 阅读(10) 评论(0) 推荐(0)
Spark介绍系列01_李孟_新浪博客
摘要：一.简介 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa 阅读全文
posted @ 2018-03-31 15:34 Dlimeng 阅读(12) 评论(0) 推荐(0)
hadoop基准测试总结_李孟_新浪博客
摘要：hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar TestDFSIO -write -nrFiles 100 -fileSize 100 1 阅读全文
posted @ 2018-03-31 15:27 Dlimeng 阅读(12) 评论(0) 推荐(0)
hadoop基准测试总结
摘要：hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar TestDFSIO -write -nrFiles 100 -fileSize 100 1 阅读全文
posted @ 2018-03-31 15:27 Dlimeng 阅读(8) 评论(0) 推荐(0)