熊猫太郎

摘要： 在ReentrantLock中，对于公平和非公平的定义是通过对同步器AbstractQueuedSynchronizer的扩展加以实现的 非公平的获取语义： 公平的获取语义： 比较非公平的获取，仅加入了当前线程（Node）之前是否有前置节点在等待的判断 编写一个测试来观察公平和非公平锁在获取锁时的区 阅读全文

摘要： 1.shuffle相关 报错提示 org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0 org.apache.spark.shuffle.FetchFailedException: Failed to connect to hostname/192.... 阅读全文

摘要： 1.gc时间过长 在spark ui上的现象是时间过长且gc的时间比较长，现象截图如下： 原理分析 日常使用中，我们通过spark.executor.memory来控制一个executor最多可以使用的内存大小，实际上是通过设置Executor的JVM的Heap大小实现的。 Executor的内存界 阅读全文

摘要： Yarn提供的web界面可以看到applications历史数据，Yarn Web UI的列表数据如图: 这部分数据的展现方式是前台分页，意思就是比如有2w的历史数据，将一次全部加载，第一次非常慢，后续操作很快。 列表数据最终调用到org.apache.hadoop.yarn.server.reso 阅读全文

摘要： 一）准备工作 在linux安装sbt 二）部署 步骤1： 步骤2: 步骤3： 步骤4： 阅读全文

摘要： 1.文件存储的位置 示例查看 ./bin/hadoop fsck /data/bb/bb.txt -files -blocks -racks –locations blk_1076386829_2649976是meta文件名，具体如何找到这个meta文件，可以通过find命令，从图中我们可以看到文件 阅读全文

摘要： 在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。 Java代码中的文件句柄没有关闭，或者socket连接过多都会引起Too many open files 问题，文件代码示例如下： 上边代码调用一次会是程序 阅读全文

摘要： Spring加载ConfigurationProperties的典型应用是自动加载（Autowired），在一些特殊的场景需要手动修改加载的Property属性。 代码实例，config类 import java.util.ArrayList; import java.util.List; import org.springframework.boot.context.properti... 阅读全文

摘要： 1.把线程停掉方式 Thread.stop() 使用这种方式是不安全的，官方也不建议，使用如下代码 2.不要忽略中断异常 3.获取所有运行中线程 参考 http://www.billharlan.com/pub/papers/javatips.html 阅读全文

摘要： 最近在做Job调度管理的事情，打算利用zeus，由于git上zeus版本久远，目前公司的集群是hadoop2.X的，需要改造，并看了下源码。 本文主要是从zeus代码里提取出来MapReduceJob的提交YARN集群方式，简化了一些不必要的过程，模拟了MapReduceJob的提交YARN集群的过 阅读全文