摘要：
Spark 源码解读（三）SparkContext的初始化之Hadoop相关配置及Executor环境变量 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息。 代码如下： _hadoopConfiguration = SparkHa 阅读全文
posted @ 2020-07-01 23:38
这个小仙女真可爱
阅读(772)
评论(0)
推荐(0)
摘要：
Spark 源码解读（二）SparkContext的初始化之创建并初始化SparkUI SparkUI的创建与初始化 SparkContext创建SparkUI _ui = if (conf.getBoolean("spark.ui.enabled", true)) { Some(SparkUI.c 阅读全文
posted @ 2020-06-30 22:36
这个小仙女真可爱
阅读(241)
评论(0)
推荐(0)
摘要：
java学习之反射机制 反射机制 反射机制指在程序运行过程中，对任意一个类都能获取其所有属性和方法，并且对任意一个对象都能调用其任意一个方法。这种动态获取类的和对象的信息，以及动态调用对象的方法的功能被称为java语言的反射机制。 反射机制的核心功能：java中的对象有两种类型：编译时类型和运行时类 阅读全文
posted @ 2020-06-27 21:48
这个小仙女真可爱
阅读(120)
评论(0)
推荐(0)
摘要：
Spark 源码解读（一）SparkContext的初始化之创建执行环境SparkEnv SparkContext 概述 每一个Spark应用都是一个SparkContext实例，可以理解为一个SparkContext就是一个Spark application的生命周期。SparkContext是S 阅读全文
posted @ 2020-06-26 00:30
这个小仙女真可爱
阅读(202)
评论(0)
推荐(0)
摘要：
创建maven功臣 pom文件 StreamWordCount 测试 阅读全文
posted @ 2020-05-24 01:58
这个小仙女真可爱
阅读(628)
评论(0)
推荐(0)
摘要：
运行Flink javaWordCount实例报错： 原因Java程序引入了scala的Tuple2 阅读全文
posted @ 2020-05-23 22:24
这个小仙女真可爱
阅读(1013)
评论(0)
推荐(0)
摘要：
进入hbase shell 阅读全文
posted @ 2020-05-23 20:45
这个小仙女真可爱
阅读(964)
评论(0)
推荐(0)
摘要：
1、使用ctrl+Backspace或者Shift+Backspace组合键 2、SecureCRT 选项 》会话选项 》仿真 》终端 》选择linux 选项 》会话选项 》映射键 阅读全文
posted @ 2020-05-23 19:35
这个小仙女真可爱
阅读(174)
评论(0)
推荐(0)
摘要：
1. HBase简介 1.1 hbase的概念 hbase基于Google的BigTable论文，是建立的==hdfs==之上，提供 高可靠性 、 高性能 、 列存储 、 可伸缩 、 实时读写 的分布式数据库系统。在需要 超大规模数据集时，可以使用hbase。 hbase 是一个 kv 数据库。 1 阅读全文
posted @ 2020-05-23 17:06
这个小仙女真可爱
阅读(369)
评论(0)
推荐(0)
浙公网安备 33010602011771号