来勒 - 博客园

Spark GraphX图形数据分析

摘要： Spark GraphX图形数据分析图（Graph）的基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构图数据很好的表达了数据之间的关系处理的是有向图图的术语-4 出度：指从当前顶点指向其他顶点的边的数量入度：其他顶点指向当前顶点的边的数量图的阅读全文

posted @ 2019-08-10 23:13 来勒阅读(1320) 评论(0) 推荐(0)

Spark sql

摘要： Spark SQL SchemaRDD/DataFrame 介绍用于结构化数据 Spark SQL运行原理 Catalyst 优化器:将逻辑计划转化成物理计划 Spark SQL API-1重点 SparkContext Spark SQL的编程入口 SparkSession 合并了SQLCont 阅读全文

posted @ 2019-08-01 22:48 来勒阅读(218) 评论(0) 推荐(0)

Spark 分布式计算原理

摘要： Spark 分布式计算原理 Spark Shuffle RDD的依赖关系-1（lineage） RDD的依赖关系-2（lineage）？？宽依赖对比窄依赖 DAG工作原理根据RDD之间的依赖关系，形成一个DAG（有向无环） RDD持久化-1 cache: 间数据写入缓存 cache（）不能再有其阅读全文

posted @ 2019-08-01 22:45 来勒阅读(640) 评论(0) 推荐(0)

spark 算子实例

摘要： RDD转换算子Transformation（lazy）:懒汉模式（转换）一个数据集分成两个RDD，两个可能合并 map 输入变换函数应用于RDD中所有元素 val a = sc.parallelize(1 to 8) val b = a.map(s=>(s+1)) b.collect flatM 阅读全文

posted @ 2019-08-01 22:15 来勒阅读(171) 评论(0) 推荐(0)

window scala-2.11.8 安装

摘要： window_scala-2.11.8 安装 1）安装scala-2.11.8 2）配置window环境变量新建系统变量：新增变量名：SCALA_HOME 新增变量值：C:\Program Files (x86)\scala 编辑环境变量（PATH）新增path：%SCALA_HOME%\bi 阅读全文

posted @ 2019-07-30 22:26 来勒阅读(1455) 评论(0) 推荐(0)

spark 2.3.3 安装

摘要： Spark-2.3.3 安装第一步：[root@head42 spark]# tar -zxvf spark-2.4.3-bin-hadoop2.6.tgz -C /opt/ 第二步：创建软连接 [root@head42 spark]# ln -s spark-2.4.3-bin-hadoop2. 阅读全文

posted @ 2019-07-29 14:50 来勒阅读(913) 评论(0) 推荐(0)

安装jdk

摘要：安装jdk: 1.1 新建文件夹 mkdir software 1.2 在software文件下解压jdk到opt文件夹下 [root@hadoop42 software]# tar -zxvf jdk-8u111-linux-x64.tar.gz -C /opt/ 1.3 使用软连接增加别名jdk 阅读全文

posted @ 2019-07-26 22:58 来勒阅读(92) 评论(0) 推荐(0)

Logstash-6.2.2安装和Kibana-6.2.2安装：

摘要： Logstash和Kibana安装： Logstash-6.2.2安装 1）解压完毕后需要配置profile的环境变量末尾追加： export LOGSTASH_HOME=/opt/logstash export PATH=$PATH:$LOGSTASH_HOME/bin Kibana-6.2.2 阅读全文

posted @ 2019-07-24 23:32 来勒阅读(454) 评论(0) 推荐(0)

elasticsearch-6.2.2 安装

摘要： Elasticsearch安装： 1）首先我们先创建一个用户：useradd es 修改用户密码：passwd es 2）在root下修改es属主属组：chown -R es:es elasticsearch-6.2.2 在root下：curl -H "Content-Type: applicati 阅读全文

posted @ 2019-07-24 23:29 来勒阅读(536) 评论(0) 推荐(0)

mapreduce 基础内容

摘要： MapReduce：分布式计算框架，用来分解大数据量的处理 Map阶段对数据集上的独立元素进行指定的操作，生成键值对形成中间结果，Reduce阶段对中间结果中相同的键的所有值进行规约，以得到最终的结果。优点： 1）易于编程：简单的实现一些接口 2）可扩展性当计算资源不足时，通过增加机器可以扩展他的阅读全文

posted @ 2019-07-24 23:23 来勒阅读(204) 评论(0) 推荐(0)