2022年5月30日
摘要: 因最近工作中涉及较多的Spark相关功能,所以趁周末闲来无事,研读一下Dataset的count方法。Spark版本3.2.0 1、方法入口: def count(): Long = withAction("count", groupBy().count().queryExecution) { pl 阅读全文
posted @ 2022-05-30 00:06 淡墨痕 阅读(3) 评论(0) 推荐(0) 编辑
  2022年5月15日
摘要: 一、环境准备 电脑: window10 64位 代码编写工具:VSCode 二、安装配置 1、官网下载golang安装包 https://golang.google.cn/learn/ ,并安装好 2、配置环境变量 当前下载的是1.18.2,安装好后默认在环境变量上已经有了GOPATH,是默认的系统 阅读全文
posted @ 2022-05-15 16:32 淡墨痕 阅读(8) 评论(0) 推荐(0) 编辑
  2021年11月7日
摘要: 在该系列的上一篇文章中,较为详细的描述了Spark程序的生命周期,这一篇我们以一段Spark代码为例,来详细拆解一下Spark程序的执行过程。 一、示例代码: val ss = SparkSession.builder().appName("localhost").master("local[*]" 阅读全文
posted @ 2021-11-07 15:56 淡墨痕 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 本文以Spark执行模式中最常见的集群模式为例,详细的描述一下Spark程序的生命周期(YARN作为集群管理器)。 1、集群节点初始化 集群刚初始化的时候,或者之前的Spark任务完成之后,此时集群中的节点都处于空闲状态,每个服务器(节点)上,只有YARN的进程在运行(环境进程不在此考虑范围内),集 阅读全文
posted @ 2021-11-07 14:29 淡墨痕 阅读(219) 评论(0) 推荐(0) 编辑
  2021年11月6日
摘要: 一、Spark是什么 Spark是一个开源的大数据处理引擎。 二、Spark的主要组件如下图所示: 三、Spark运行时架构 Spark共有三种运行模式:本地模式、集群模式、客户端模式。 生产环境基本都是用集群模式。集群模式需要用到集群管理器,三个核心的集群管理器为:Spark自带的独立集群管理器、 阅读全文
posted @ 2021-11-06 23:17 淡墨痕 阅读(139) 评论(0) 推荐(0) 编辑
  2021年2月24日
摘要: CompletionService是什么? 它是JUC包中的一个接口类,默认实现类只有一个ExecutorCompletionService。 CompletionService干什么的? 它将异步任务的生成和执行结果的处理进行了解耦,用来执行Callable的任务(实际也是通过Executor线程 阅读全文
posted @ 2021-02-24 22:41 淡墨痕 阅读(509) 评论(0) 推荐(1) 编辑
  2021年1月25日
摘要: 本文主要内容: 1、Kubernetes如何管理Pod? 2、Kubernetes Control Plane组件有哪几种?作用效果是什么? 一、Kubernetes如何管理Pod Kubernetes中的Pod根据创建方式的不同,可以分为两种:一种是直接创建的Pod,比如自己写了一个Pod的yam 阅读全文
posted @ 2021-01-25 23:00 淡墨痕 阅读(219) 评论(0) 推荐(0) 编辑
  2021年1月23日
摘要: 本文主要围绕两部分展开: 1. 注解的介绍及使用; 2. 命名空间的介绍及使用。 一、注解 K8S中的对象除了可以用标签来标识/归类外,还可以用加注解(annotations)属性,它属于metadata的子标签,也是键值对的格式。此处的注解和java中的注解完全不一样,非要类比的话,Java中的注 阅读全文
posted @ 2021-01-23 23:39 淡墨痕 阅读(104) 评论(0) 推荐(0) 编辑
  2021年1月10日
摘要: 前言 有开发过微信小程序的园友们应该都知道,微信小程序生产版本的前端对后端调用时,必须是用https+域名的方式调用(测试版本不受此限制),而且必须用默认端口不能手动指定端口,否则微信会给拦截下来无法调用。前段时间博主走了一遍这样的流程,特此记录下在此过程中遇到的坑,希望后面再有人遇到能躲避过去。 阅读全文
posted @ 2021-01-10 10:11 淡墨痕 阅读(2143) 评论(0) 推荐(0) 编辑
  2020年12月23日
摘要: 近期一直在思索天人之道,缺少大块的时间,决定将学习博客改为以小短文为主。本文主要内容: 1、kubernetes中pod的创建 2、pod上标签的使用 一、kubernetes中pod的创建 在实际使用中,Pod通常是伴随着Deployment等controller的创建而创建的,单独创建Pod的场 阅读全文
posted @ 2020-12-23 23:12 淡墨痕 阅读(250) 评论(0) 推荐(0) 编辑