摘要： Sentry概述 CDH版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。 Kerberos主要负责平台用户的权限管理，Sentry则负责数据的权限管理。 Sentry是什么 Apache Sentry是Cloudera公司发布的一个Haoop开源组件，它提供了细粒 阅读全文

摘要： 每一次问题记录 阅读全文

摘要： master和worker是物理节点，driver和executor是进程。 1、master和worker节点 搭建spark集群的时候我们就已经设置好了master节点和worker节点，一个集群有多个master节点和多个worker节点。 master节点常驻master守护进程，负责管理w 阅读全文

摘要： 1、什么是GC 垃圾收集 Garbage Collection 通常被称为“GC”，回收没用的对象以释放空间。 GC 主要回收的是虚拟机堆内存的空间，因为new 的对象主要是在堆内存。 2、频繁GC的影响及优化方法 （1）频繁的GC影响 task运行期间动态创建的对象使用的Jvm堆内存的情况 当给s 阅读全文

摘要： executor-memory 在集群资源允许的情况下，且不oom的情况下，通常越多越好，同时要在webui观察gc时长，达到平衡值(过多的内存会导致单次gc所需时间过长，过少的内存会导致频繁gc)，个人建议上限为单个containers最大值的75%。 num-executors,executor 阅读全文

摘要： 1、下载地址 StreamSets官网提供的下载址：https://archives.streamsets.com/index.html 2、安装包文件 3、配置本地parcel包 将下载的manifest.json和 STREAMSETS_DATACOLLECTOR-3.20.0-el7.parc 阅读全文

摘要： 阅读全文

摘要： 序号 seq() 分页行数 阅读全文

摘要： 首先，我们用下面的一段代码，去拼接出来一个用逗号分隔的超长字符串，把从 0 开始一直到 9999 的每个数字都用逗号分隔，拼接成一个超长的字符串，以便于我们可以进行实验。 public class StringSplitTest { public static void main(String[] 阅读全文

摘要： Collections.sort(list, new Ordering<QtmSysUserListDto>() { @Override public int compare(QtmSysUserListDto arg0, QtmSysUserListDto arg1) { if(arg0.getF 阅读全文