摘要：
Spark 可以在各种各样的集群管理器（Hadoop YARN、Apache Mesos，还有Spark 自带的独立集群管理器）上运行，所以Spark 应用既能够适应专用集群，又能用于共享的云计算环境。 在分布式环境下，Spark 集群采用的是主/ 从结构。在一个Spark 集群中，有一个节点负责中 阅读全文
posted @ 2018-06-27 11:03 打杂滴 阅读(258) 评论(0) 推荐(0)
2018年6月27日
2018年6月26日
摘要：
Spark 的两个共享变量：累加器（accumulator）与广播变量（broadcast variable）。 累加器用来对信息进行聚合，而广播变量用来高效分发较大的对象。 在Scala 中累加空行： scala> val testrdd=sc.textFile("hdfs://localhost 阅读全文
posted @ 2018-06-26 16:14 打杂滴 阅读(173) 评论(0) 推荐(0)
2018年6月21日
摘要：
Spark 是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark 扩展了广泛使用的MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处理大规模数据集时，速度是非常重要的。Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上 阅读全文
posted @ 2018-06-21 10:53 打杂滴 阅读(363) 评论(0) 推荐(0)
2018年6月20日
摘要：
scala> import org.apache.spark.SparkContext import org.apache.spark.SparkContext scala> import org.apache.spark.SparkConf import org.apache.spark.Spar 阅读全文
posted @ 2018-06-20 15:52 打杂滴 阅读(230) 评论(0) 推荐(0)
摘要：
RDD是Spark建立之初的核心API。RDD是不可变分布式弹性数据集，在Spark集群中可跨节点分区，并提供分布式low-level API来操作RDD，包括transformation和action。 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是S 阅读全文
posted @ 2018-06-20 14:29 打杂滴 阅读(426) 评论(0) 推荐(0)
2018年6月15日
摘要：
Load运算符 你可以使用 Pig Latin 的 LOAD 运算符，从文件系统（HDFS / Local）将数据加载到Apache Pig中。 语法 load语句由两部分组成，用“=”运算符分隔。在左侧，需要提到我们想要存储数据的关系的名称；而在右侧，我们需要定义如何存储数据。下面给出了 Load 阅读全文
posted @ 2018-06-15 15:33 打杂滴 阅读(499) 评论(0) 推荐(0)
摘要：
pig的两种运行模式，local模式，mapreduce模式 local模式下，pig只能访问本地一台；在mapreduce模式下，pig可以访问一个hadoop集群和hdfs的安装位置。这时，pig将自动对这个集群进行分配和回收。因为pig系统可以自动对mapreduce程序进行优化，所以当用户使 阅读全文
posted @ 2018-06-15 10:29 打杂滴 阅读(837) 评论(0) 推荐(0)
摘要：
hadoop生态圈 主要从hdfs底层存储，hbase数据库，hive数据仓库，flume收集，Kafka缓存，zookeeper分布式协调服务，spark大数据分析，sqoop数据互转 hdfs分布式文件系统，高容错的特点，可以部署在廉价的硬件上，设计目标：检查和快速修复硬件故障；流式访问；简化一 阅读全文
posted @ 2018-06-15 10:28 打杂滴 阅读(239) 评论(0) 推荐(0)
摘要：
Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig通常与 Hadoop 一起使用；我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。 要使用 Apache Pig 分析数据，程序员需要使用Pig Latin 阅读全文
posted @ 2018-06-15 10:28 打杂滴 阅读(1612) 评论(0) 推荐(0)
2018年6月12日
摘要：
1.通过cli直接执行 2.hive -e "hql" 如：[root@host ~]# hive -e "use gamedw;show tables" [root@host ~]# hive -e 'use gamedw;show tables' 3.执行文件[root@host tmpdata 阅读全文
posted @ 2018-06-12 16:31 打杂滴 阅读(307) 评论(0) 推荐(0)
浙公网安备 33010602011771号