摘要： import java.util.Arrays; /** * [1,2,3,-2,-4,5,3,-2,4,1,-5,3]数组排序 输出结果[1,2,3,5,3,4,1,-2,-4,-2,-5] 要求: 1.正数在左，负数在右， 2.相对顺序不变， 3.空间复杂度O(1) */ public clas 阅读全文

摘要： 1、spark job 提交模式 spark on yarn 分两种情况，一种是yarn-client 提交，一种是yarn-cluster提交方式，两种方式的区别是： yarn-cluster模式下，driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督 阅读全文

摘要： maven-assembly-plugin false jar-with-dependencies com.XXX.XXX.App //主类名称 ... 阅读全文

摘要： 1、 oozie简介 应用背景：在工作中，可能需要好几个Hadoop作业(job)来协作完成，往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。 我们不可能就盯着程序，等它运行完再去运行下一个程序，所以，一般的做法就是通过shell来做，但是如果涉及到的工作流很复 阅读全文

摘要： 遇到一个问题，如何快速发生死锁，特意总结一下。 1、死锁的定义： 死锁的定义：死锁是指两个或两个以上的进程在执行过程中，由于竞争资源或者由于彼此通信而造成的一种阻塞的现象，若无外力作用，它们将无法推进下去，此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程成为死锁进程。 2、死锁产生条 阅读全文

摘要： 1、由于hive的元数据存储在关系型数据库中，先安装mysql mysql官网，选择社区版：https://dev.mysql.com/downloads/mysql/5.7.html#downloads wget下载安装包：wget https://dev.mysql.com/get/Downlo 阅读全文

摘要： 1、spark 官网选择对应Hadoop的版本，之前安装的Hadoop版本为hadoop-3.0.2，获取下载包： wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz 2、解压缩 阅读全文

摘要： 1、获取安装包，并解压 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.1.tar.gz tar -zxvf elasticsearch-6.1.1.tar.gz ln -s elasticsea 阅读全文

摘要： 最近两天一直被这个问题折腾： 原因：上周五下班的时候为了解决一个重要的问题，直接点计算机关机，没等到办公机反映就点击了强制关机，重启后，发现部分软件无法联网 紧接着，outlook无法打开，teamviewer无法联网，QQ 启动直接报 Initialization failure：0x000000 阅读全文

摘要： 1、安装VMware Workstation Pro12，以及centos7。 直接下一步。。。，网络类型这里注意选择NAT模式： 直接下一步。。。，网络类型这里注意选择NAT模式： 然后直接下一步。。。，磁盘类型这里选择存储为单个文件，方便后续拷贝： 然后直接下一步。。。，磁盘类型这里选择存储为单 阅读全文