顿学累功

摘要： 为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：Cache、Persist、Checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下12种： 阅读全文

摘要： SparkContext（Spark上下文） /** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark * cluster, and can be used 阅读全文

摘要： Spark组件是基于分布式资源引擎层（Yarn等）和分布式存储层（HDFS等）之上的一个组件，Spark本质上是一个计算引擎，负责计算的，根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块，这些模块各自处理适合各自特点的计算场景。Spark Core作为Spark技 阅读全文

摘要： （1）控制台Yarn（Cluster模式）打印的异常日志： client token: N/A diagnostics: Application application_1584359355781_0002 failed 2 times due to AM Container for appatte 阅读全文

摘要： 目的与背景： 目的：对外暴露DBA Service必要的RESTful API，形成规整的API文档 背景：DBA Service后端采用Spring-boot，属于Spring家族，故生成API的工具采用基于Swagger2实现的SpringFox-Swagger2 一、API在线生成配置 1、通 阅读全文

摘要： Docker Commit 1、在IDEA中通过maven package得到watchman-1.5.0-SNAPSHOT.jar，将其scp到baisheng1本地； 2、查看dbaservice2所在的pod kubectl get po -owide | grep dbaservice2 结 阅读全文

摘要： 1、前期准备： sudo apt-get update sudo apt-get install -y curl openssh-server ca-certificates sudo apt-get install -y postfix 2、信任 GitLab 的 GPG 公钥: curl htt 阅读全文

摘要： 在Hive中，Derby数据库只能起一个实例，不能在多个终端同时运行，这就产生了许多禁锢，因此对于元数据的存储，采用开源的mysql数据库，因此就需要在主节点上安装mysql相关服务。 0、首先，通过yum list | grep mysql命令来查找yum源中是否有MySQL，我的查询结果如下; 阅读全文

摘要： 首先声明参考博客：https://blog.csdn.net/beyond_xnsx/article/details/79771690?tdsourcetag=s_pcqq_aiomsg 实践过程主线参考这篇博客，相应地方进行了变通。接下来记载我的实践过程。 一、GPU版的TensorFlow的安装 阅读全文

摘要： 哈希表在查找方面有非常大应用价值，本文记录一下利用哈希散列表来统计文本文件中每个单词出现的重复次数，这个需求当然用NLP技术也很容易实现。 一、基本介绍 1、Hash Key值：将每个单词按照字母组成通过一个乘子循环运算得出一个小于29989的整数，29989是一个比较大的质数。0~29989即为K 阅读全文