摘要：
简要介绍了SparkSQL与Hive on Spark的区别与联系 一、关于Spark 在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。 Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executo 阅读全文
posted @ 2017-04-11 09:42
大葱拌豆腐
阅读(2409)
评论(0)
推荐(0)
摘要：
转载自：http://www.tuicool.com/articles/7VNfyif 王联辉，曾在腾讯，Intel 等公司从事大数据相关的工作。2013 年 - 2016 年先后负责腾讯 Yarn 集群和 Spark 平台的运营与研发。曾负责 Intel Hadoop 发行版的 Hive 及 HB 阅读全文
posted @ 2017-04-10 13:49
大葱拌豆腐
阅读(1891)
评论(0)
推荐(0)
摘要：
几个相关类与HBase数据模型之间的对应关系 一、HBaseConfiguration 关系：org.apache.hadoop.hbase.HBaseConfiguration 作用：对HBase进行配置 用法示例： HBaseConfiguration hconfig = new HBaseCo 阅读全文
posted @ 2017-04-09 19:15
大葱拌豆腐
阅读(350)
评论(0)
推荐(0)
摘要：
内存计算平台Spark在今年6月份的时候正式发布了spark2.0，相比上一版本的spark1.6版本，在内存优化，数据组织，流计算等方面都做出了较大的改变，同时更加注重基于DataFrame数据组织的MLlib，更加注重机器学习整个过程的管道化。 当然，作为使用者，特别是需要运用到线上的系统，大部 阅读全文
posted @ 2017-04-07 10:22
大葱拌豆腐
阅读(3360)
评论(0)
推荐(0)
摘要：
程序运行的过程中，报Failed to locate the winutils binary in the hadoop binary path Java.io.IOException: Could not locate executable\bin\winutils.exe in the Hado 阅读全文
posted @ 2017-04-06 19:53
大葱拌豆腐
阅读(521)
评论(0)
推荐(0)
摘要：
用Maven创建了一个spark sql项目，在引入spark sql jar包时引入的是： 阅读全文
posted @ 2017-04-06 19:27
大葱拌豆腐
阅读(21499)
评论(0)
推荐(0)
摘要：
在使用spark sql时一直运行报这个错误，最后仔细排查竟然是引入了两个scala library 。去除其中一个scala的编译器即可 Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class a 阅读全文
posted @ 2017-04-06 19:07
大葱拌豆腐
阅读(7316)
评论(1)
推荐(0)
摘要：
package com.hand.study; import scala.Tuple2; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.jav... 阅读全文
posted @ 2017-04-06 16:33
大葱拌豆腐
阅读(17150)
评论(1)
推荐(2)
摘要：
总结： 1、RDD是一个Java对象的集合。RDD的优点是更面向对象，代码更容易理解。但在需要在集群中传输数据时需要为每个对象保留数据及结构信息，这会导致数据的冗余，同时这会导致大量的GC。 2、DataFrame是在1.3引入的，它包含数据与schema2部分信息，其中数据就是真正的数据，而不是一 阅读全文
posted @ 2017-04-06 15:33
大葱拌豆腐
阅读(588)
评论(0)
推荐(0)
摘要：
以下的这些分析都是基于spark2.1进行的 （一）什么是RDD A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collectio 阅读全文
posted @ 2017-04-06 14:24
大葱拌豆腐
阅读(561)
评论(0)
推荐(0)
浙公网安备 33010602011771号