摘要： 一、大数据技术领域发展方向 随着AI时代的到来，大数据技术领域逐渐退居二线，再也没有了前些年的重视程度。博主近期结合从业多年经验，对大数据技术领域的技术演进路线做下梳理。 当前大数据领域发展已经进入深水区，随着各种成熟大数据框架的应用普及，难点已经从存不下、算不出，变为了如何高质量、高效计算数据并增 阅读全文

摘要： 因最近工作中涉及较多的Spark相关功能，所以趁周末闲来无事，研读一下Dataset的count方法。Spark版本3.2.0 1、方法入口： def count(): Long = withAction("count", groupBy().count().queryExecution) { pl 阅读全文

摘要： 一、环境准备 电脑： window10 64位 代码编写工具：VSCode 二、安装配置 1、官网下载golang安装包 https://golang.google.cn/learn/ ，并安装好 2、配置环境变量 当前下载的是1.18.2，安装好后默认在环境变量上已经有了GOPATH，是默认的系统 阅读全文

摘要： 在该系列的上一篇文章中，较为详细的描述了Spark程序的生命周期，这一篇我们以一段Spark代码为例，来详细拆解一下Spark程序的执行过程。 一、示例代码： val ss = SparkSession.builder().appName("localhost").master("local[*]" 阅读全文

摘要： 本文以Spark执行模式中最常见的集群模式为例，详细的描述一下Spark程序的生命周期（YARN作为集群管理器）。 1、集群节点初始化 集群刚初始化的时候，或者之前的Spark任务完成之后，此时集群中的节点都处于空闲状态，每个服务器（节点）上，只有YARN的进程在运行（环境进程不在此考虑范围内），集 阅读全文

摘要： 一、Spark是什么 Spark是一个开源的大数据处理引擎。 二、Spark的主要组件如下图所示： 三、Spark运行时架构 Spark共有三种运行模式：本地模式、集群模式、客户端模式。 生产环境基本都是用集群模式。集群模式需要用到集群管理器，三个核心的集群管理器为：Spark自带的独立集群管理器、 阅读全文

摘要： CompletionService是什么？ 它是JUC包中的一个接口类，默认实现类只有一个ExecutorCompletionService。 CompletionService干什么的？ 它将异步任务的生成和执行结果的处理进行了解耦，用来执行Callable的任务（实际也是通过Executor线程 阅读全文

摘要： 本文主要内容： 1、Kubernetes如何管理Pod？ 2、Kubernetes Control Plane组件有哪几种？作用效果是什么？ 一、Kubernetes如何管理Pod Kubernetes中的Pod根据创建方式的不同，可以分为两种：一种是直接创建的Pod，比如自己写了一个Pod的yam 阅读全文

摘要： 本文主要围绕两部分展开： 1. 注解的介绍及使用； 2. 命名空间的介绍及使用。 一、注解 K8S中的对象除了可以用标签来标识/归类外，还可以用加注解（annotations）属性，它属于metadata的子标签，也是键值对的格式。此处的注解和java中的注解完全不一样，非要类比的话，Java中的注 阅读全文

摘要： 前言 有开发过微信小程序的园友们应该都知道，微信小程序生产版本的前端对后端调用时，必须是用https+域名的方式调用（测试版本不受此限制），而且必须用默认端口不能手动指定端口，否则微信会给拦截下来无法调用。前段时间博主走了一遍这样的流程，特此记录下在此过程中遇到的坑，希望后面再有人遇到能躲避过去。 阅读全文