yy

摘要： 比较郁闷昨天在家使用‘alter table `tablename` AUTO_INCREMENT=10000;’怎么也不起效，但是今天下班时间公司一同事尝试了一下就可以了。搞不明白自己当时是怎么操作的，导致最终不起效。 实现目标：mysql下将自增主键的值，从10000开始，即实现自增主键的种子为 阅读全文

摘要： 本文代码请参考《https://github.com/478632418/springcloud-eureka-server-client/tree/master/mall》、《https://github.com/478632418/springboot-eureka》 本章节主要包含Spring 阅读全文

摘要： SpringCloud是一个基于SpringBoot实现的云应用开发工具，它为开发人员提供了一些工具来快速构建分布式系统中的一些常见模式（例如配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导层选举，分布式会话，群集状态等）。分布式系统的协调导致了锅炉板模式，使用Spr 阅读全文

摘要： 在Spark中一个appliation可能包含多个job，每个job都是由SparkContext#runJob(。。。)触发的，一个Job下包含1个或多个Stage，Job的最后一个stage为ResultStage，其余的stage都为ShuffleMapStage。ResultStage会生成 阅读全文

摘要： 之前对Broadcast有分析，但是不够深入《Spark2.3（四十三）：Spark Broadcast总结》，本章对其实现过程以及原理进行分析。 带着以下几个问题去写本篇文章： 1）driver端如何实现broadcast的装备，是否会把broadcast数据发送给executor端？ 2）exe 阅读全文

摘要： 一、锁对象及 synchronized 的使用 synchronized 通过互斥锁（Mutex Lock）来实现，同一时刻，只有获得锁的线程才可以执行锁内的代码。 锁对象分为两种： 实例对象（一个类有多个）和 Class 对象（一个类只有一个）。 不同锁对象之间的代码执行互不干扰，同一个类中加锁方 阅读全文

摘要： 本章主要讨论，在Spark2.4 Structured Streaming读取kafka数据源时，kafka的topic数据是如何被执行的过程进行分析。 以下边例子展开分析： 上边例子业务，使用structured streaming读取kafka的topic，并做agg，然后sink到kafka的 阅读全文

摘要： 本章节根据源代码分析Spark Structured Streaming(Spark2.4)在进行DataSourceProvider查找的流程，首先，我们看下读取流数据源kafka的代码： sparkSession.readStream()返回的对象是DataSourceReader DataSo 阅读全文

摘要： 参考 《Docker中上传镜像到docker hub中》 《Docker 镜像管理》 《通过容器提交镜像（docker commit）以及推送镜像（docker push）笔记》 《和我一步步部署 kubernetes 集群》（推荐，完整的K8s集群搭建文章） 《Kubernetes之kubectl 阅读全文

摘要： 列出镜像列表（docker images） 各个指标项说明:：REPOSITORY：表示镜像的仓库源TAG：镜像的标签IMAGE ID：镜像IDCREATED：镜像创建时间SIZE：镜像大小 启动镜像（docker run） Docker 允许你在容器内运行应用程序， 使用 docker run 命 阅读全文

摘要： 安装环境：Centos7.5 从 2017 年 3 月开始 docker 在原来的基础上分为两个分支版本: Docker CE 和 Docker EE。1）Docker CE 即社区免费版2）Docker EE 即企业版，强调安全，但需付费使用。 本文介绍 Docker CE 的安装使用。 1）移除 阅读全文

摘要： SimpleDateFormat是Java提供的一个格式化和解析日期的工具类，日常开发中应该经常会用到，但是由于它是线程不安全的，多线程公用一个SimpleDateFormat实例对日期进行解析、格式化都会导致程序出错，接下来就讨论下它为何是线程不安全的，以及如何避免。 问题复现 编写测试代码如下： 阅读全文

摘要： 使用栈实现一个队列，需要弄清楚栈和队列的区别： 栈：先进后出； 队列：先进先出。 实现思路： 1）通过两个栈（pushStack / popStack）对倒，确保 popStack 栈的出栈顺序与队列出列一致。 2）核心难点在加入队列操作，假设队列中已经加入1、2、3、4，加入5的过程： 2.1）假 阅读全文

摘要： 问题分析：正如i在多线程中如果想实现i的多线程操作，必须i要使用volitle来保证其内存可见性，但是i++自增操作不具备原子性操作，因此需要对i++这段代码确保其原子性操作即可。 方案1： 使用ReetranLock实现i++的原子性操作。 方案2： 使用Semaphore实现i++的原子性操作。 阅读全文

摘要： 方案（一）CountDownLatch： 使用CountDownLatch+Semaphore方式实现： 上边使用CountDownLatch+Semaphore方式实现，但是缺点：上边这种方式会导致线程阻塞情况。下边这种方案是可以实现不阻塞线程的用法： import java.util.concu 阅读全文

摘要： 问题： 最近现场反馈采用yarn-cluster方式提交spark application后，在提交节点机上依然会存在一个yarn的client进程不关闭，又由于spark application都是spark structured streaming程序（application常年累月的执行），最 阅读全文

该文被密码保护。 阅读全文

摘要： 背景： 目前服务器资源是43个节点，每个节点配置信息如下：24VCores 64G yarn配置情况： 已经成功启动任务：34个app(每个app driver内存7g，executor个数1,executor内存20g) 另外成功启动分发程序：1个app（driver内存6g，executor个数 阅读全文

摘要： 背景： 按照业务需求将数据拆分为60份，启动60个application分别运行对每一份数据，application的提交脚本如下： 运行集群包含的运行节点43个节点，每个节点配置信息如下：24VCores 64G yarn配置情况： 问题： 执行上边脚本启动了60个任务，但是经过测试发现最多只能提 阅读全文

摘要： 前提： product项目下有三个module，分别是: 问题： 但是common是正常install的 解决办法： 在root也就是parent上先install一下，domain-perf 再install就ok了 阅读全文