sunajing

摘要：RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看， RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此,spark应用程序所做的无非是把需要 阅读全文

摘要：RDD是什么？ RDD，全称是Reslilient Distributed Datasets,是一个容错的，并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。在这些操作中。诸如map,flatMap，filter等转换操作 阅读全文

摘要：基于Spark1.3.0的Spark sql三个核心部分： 1.可以架子啊各种结构化数据源(JSON,Hive,and Parquet) 2.可以让你通过SQL,saprk内部程序或者外部攻击，通过标准的数据库连接(JDBC/ODBC)连接spark，比如一个商业智能的工具Tableau 3.当你通 阅读全文

摘要：前言: Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行，比如Spark Standalone,YARN,mesos,这些集群给spark Applicatio 阅读全文

摘要：问题导读 1.Spark在YARN中有几种模式？ 2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？ 3.由client向ResourceManager提交请求，并上传jar到HDFS上包含哪些步骤？ 4.传递给app的参数应该通过什么来指定？ 5 阅读全文

摘要：1.数据块 每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块，该文件系统块的大小可以是磁盘块的整数倍。文件系统快一半为几千字节，而磁盘块一般为512字节。这些信息 文件系统块大小 对于需要读/写文件的文件系统用户来说是透明的 阅读全文

摘要：明白了MapReduce程序的工作原理之后，下一步就是写代码来实现它。我们需要三样东西：一个map函数、一个reduce函数和一些用来运行作业的代码。map函数由Mapper类来表示，后者声明一个map()虚方法。范例2-3显示了我们的map函数实现。 范例2-3 查找最高气温的Mapper类 这个 阅读全文

摘要：1.map和reduce MapReduce任务过程分为两个处理阶段：map阶段和reduce阶段。每个节点都以键值对作为输入和输出，其类型由程序员来选择。程序员还需要编写两个函数：map函数和reduce函数。 map阶段的输入时NCDC原始数据。我们选择文本格式作为输入格式，将数据集的每一行作为 阅读全文

摘要：前提条件 1.CDH安装spark服务 2.下载IntelliJ IDEA编写WorkCount程序 3.上传到spark集群执行 一.下载IntellJ IDEA编写Java程序 1.下载IDEA 官网地址：http://www.jetbrains.com/idea/ 下载IntlliJ IDEA 阅读全文

摘要：1.导入包，搭建SSH框架 导入Jquery的JS包，<script src="JS/jquery.1.7.1.js"></script> 导入ECharts的包。<script src="http://s1.bdstatic.com/r/www/cache/ecom/esl/1-6-10/esl. 阅读全文

摘要：问题导读： 1.什么是Parcel? 2.Parcel本地园与Package本地源的区别是什么？ 一、Parcel本地源与Package本地源的区别 本地通过Parcel安装过程与本地通过Package安装过程完全一致，不同的是两者的本地源的配置。 区别如下： Package本地源：软件包是.rpm 阅读全文

摘要：一、初学者问题： 请教个问题在实际的生成环境里面，数据源产生的地方部署Hadoop,还是需要程序把数据给迁移到Hadoop云上面去啊 回答： (1)hadoop不是云，hadoop是处理大数据的 (2)如果产生数据的话，你可以使用sqoop导入数据，也可以使用手机日志工具，比如flume 更多资料： 阅读全文

摘要：最新版本： hadoop和hbase版本对应关系： Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.0 0.94.0 1.0.2 0.94.1 1.0.3 0.94.2 1.0.3 0.94.3 1.0.4 0.94.4 1.0.4 0.94.5 阅读全文

摘要：本文引用自:Cloudera 系列2：CDH介绍http://www.aboutyun.com/thread-18379-1-1.html(出处: about云开发) CDH提供： 灵活性-存储任何类型的数据，并使用多种不同的计算框架进行处理，包括批处理、交互式SQL、自由文本搜索，机器学习和统计计 阅读全文

摘要：问题导读： 1.Hadoop有几个版本 2.CDH有几种安装方式 3.CDH在安装认证方面做了什么改变？ Cloudera的CDH和Apache的Hadoop的区别，目前而言，不收费的Hadoop版本主要有3个(均为国外厂商)，分别是:Apache(最原始的版本，所有发行版均居于这个版本进行改进)， 阅读全文

摘要：云技术新兴的概念太多，让我们无法使用，这里说一下什么是CDH CDH版本衍化 hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。Cloudera公司的发行版，我们将该版本成为CDH(Cloudera Distribution Hadoop)。 阅读全文

摘要：本文出自：解析Cloudera Manager内部结构、功能包括配置文件、目录位置等http://www.aboutyun.com/thread-9189-1-1.html(出处: about云开发) 问题导读 问题导读 1.CM的安装目录在什么位置？ 2.Hadoop配置文件在什么位置? 3.Cl 阅读全文