独码侠

摘要： dd if=/dev/zero of=/home/swap bs=4096 count=4096000 /sbin/mkswap /home/swap /sbin/swapon /home/swap vi /etc/fstab 末尾添加“/home/swap swap swap default 0 阅读全文

摘要： 现在微服务化盛行，但是微服务并不意味着多个前端，而比较好的实践是：多个微服务后端共用一个前端。 怎么实现多个微服务后端共用一个前端，统一提供服务呢？ React可以实现，通过代理，把不同的url导向不同的微服务。 //package.json中加入//some scripts, "proxy": { 阅读全文

摘要： 1、CMake 2、Bazel 阅读全文

摘要： 一、简介 为了方便的统计和管理一些共同信息，Spark中定义了两种共享变量——Broadcast（广播变量）和 Accumulator（累加器），可以方便的把一些变量或数据共享给集群各个节点，今天来看看Accumulator。 Accumulator是由Driver端总体维护的，读取当前值也是在Dr 阅读全文

摘要： 在Spark作业中使用AccumulatorV2自定义了一个字符串累加器，但是累加器在作业执行中不生效。 问题可能原因： 1、累加器本身定义的有问题； 2、Spark作业执行流程的原因； 问题排查情况： 1、通过一个自定义累加器类单测，只能证明了累加器自身类定义的正确性，但还不能证明累加器进入Spa 阅读全文

摘要： 为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：Cache、Persist、Checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下12种： 阅读全文

摘要： SparkContext（Spark上下文） /** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark * cluster, and can be used 阅读全文

摘要： Spark组件是基于分布式资源引擎层（Yarn等）和分布式存储层（HDFS等）之上的一个组件，Spark本质上是一个计算引擎，负责计算的，根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块，这些模块各自处理适合各自特点的计算场景。Spark Core作为Spark技 阅读全文

摘要： （1）控制台Yarn（Cluster模式）打印的异常日志： client token: N/A diagnostics: Application application_1584359355781_0002 failed 2 times due to AM Container for appatte 阅读全文

摘要： 目的与背景： 目的：对外暴露DBA Service必要的RESTful API，形成规整的API文档 背景：DBA Service后端采用Spring-boot，属于Spring家族，故生成API的工具采用基于Swagger2实现的SpringFox-Swagger2 一、API在线生成配置 1、通 阅读全文