随笔分类 -  spark

spark技术系列
sprak pom
摘要：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch 阅读全文
posted @ 2019-06-03 17:34 左手编程右手诗
spark hbase
摘要：1 配置 1.1 开发环境： HBase：hbase-1.0.0-cdh5.4.5.tar.gz Hadoop：hadoop-2.6.0-cdh5.4.5.tar.gz ZooKeeper：zookeeper-3.4.5-cdh5.4.5.tar.gz Spark：spark-2.1.0-bin-h 阅读全文
posted @ 2019-05-30 21:50 左手编程右手诗
spark再总结
摘要：1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不 阅读全文
posted @ 2019-05-09 15:00 左手编程右手诗 阅读(373) 评论(0) 推荐(0)
spark学习常用的操作
摘要：首先，使用 ScalaIDE 或 IDEA 创建 Scala 的 Maven 工程。需要用到 spark-core，spark-sql，spark-streaming 的 jar 包，pom 文件如下： <properties> <spark.version>2.1.0</spark.version 阅读全文
posted @ 2019-05-09 11:42 左手编程右手诗 阅读(407) 评论(0) 推荐(0)
spark总结
摘要：一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce，Spark能充分利用内存资源提高计算效率。 2、Spark计算框架 Driver程序启动很多workers,然后worke 阅读全文
posted @ 2019-05-09 11:33 左手编程右手诗
spark demo集锦
该文被密码保护。
posted @ 2019-05-08 22:46 左手编程右手诗
spark学习（六）Java版RDD基本的基本操作
摘要：1.map算子 2.filter算子 3.flatMap算子 Spark 中 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象； 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”： 操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象 阅读全文
posted @ 2019-05-08 22:34 左手编程右手诗 阅读(3557) 评论(0) 推荐(0)
spark学习（五）总结及其demo
摘要：RDD及其特点 1、RDD是Spark的核心数据模型，但是个抽象类，全称为Resillient Distributed Dataset，即弹性分布式数据集。 2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行 阅读全文
posted @ 2019-05-08 20:59 左手编程右手诗 阅读(1251) 评论(0) 推荐(0)
Spark学习（四)Spark2.3 HA集群的分布式安装
摘要：一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.e 阅读全文
posted @ 2019-05-07 21:04 左手编程右手诗 阅读(471) 评论(0) 推荐(0)
Spark学习（三）: 基本架构及原理
摘要：Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统 阅读全文
posted @ 2019-05-07 19:12 左手编程右手诗 阅读(494) 评论(0) 推荐(0)
Spark学习(一) Spark初识
摘要：一、官网介绍 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的 阅读全文
posted @ 2019-05-07 19:11 左手编程右手诗 阅读(410) 评论(0) 推荐(0)
spark学习（二）
摘要：Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。 Spark和Hadoop有什么不同呢? Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而 阅读全文
posted @ 2019-05-06 21:38 左手编程右手诗 阅读(465) 评论(0) 推荐(0)