Yanko24 - 博客园

摘要： Spark的运行环境_Local Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行，在国内工作中主流的环境... 阅读全文

posted @ 2021-06-03 10:05 Yanko24 阅读(56) 评论(0) 推荐(0)

摘要： Spark核心编程_累加器和广播变量 1. 累加器累加器用来把Executor端变量信息聚合到Driver端。在Driver程序中... 阅读全文

posted @ 2021-06-02 09:22 Yanko24 阅读(52) 评论(0) 推荐(0)

摘要： Spark核心编程_RDD 1. RDD创建从集合（内存）中创建RDD 从集合中创建RDD，Spark主要提供了两个方法：par... 阅读全文

posted @ 2021-06-02 09:21 Yanko24 阅读(65) 评论(0) 推荐(0)

摘要： Spark核心编程 Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构... 阅读全文

posted @ 2021-06-02 09:20 Yanko24 阅读(36) 评论(0) 推荐(0)

摘要： ClickHouse集群配置（基于ClickHouse版本21.4.6.55） 1. ClickHouse集群（3分片2副本配置）... 阅读全文

posted @ 2021-05-17 10:34 Yanko24 阅读(156) 评论(0) 推荐(0)

摘要： Flink常见的面试题 1. Flink-On-Yarn的两种架构问题：Flink-On-Yarn常见的提交模式有哪些，分别有什么... 阅读全文

posted @ 2021-04-26 16:04 Yanko24 阅读(326) 评论(0) 推荐(0)

摘要： Spark Streaming概述 1. Spark Streaming Spark Streaming用于流式数据的处理。但是Sp... 阅读全文

posted @ 2021-04-04 18:11 Yanko24 阅读(69) 评论(0) 推荐(0)

摘要： SparkSQL核心编程 1. 构建SparkSQL环境在老的版本中，SparkSQL提供了两种SQL查询起始点：一个SQLCon... 阅读全文

posted @ 2021-04-01 22:26 Yanko24 阅读(42) 评论(0) 推荐(0)

摘要： Spark的运行架构 1. 运行架构 Spark框架的核心是一个计算引擎，整天来说，它使用了标准的master-slave的结构。图... 阅读全文

posted @ 2021-03-28 16:13 Yanko24 阅读(95) 评论(0) 推荐(0)

摘要： Spark简介 1. 什么是Spark Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎 2. Spark和Hado... 阅读全文

posted @ 2021-03-28 16:12 Yanko24 阅读(161) 评论(0) 推荐(0)

xiao儿