HarkLee

摘要： ps -aux与ps -ef这两个命令显示的结果是差不多的。不同之处就是显示风格不同，前者是BSD风格，后者SYSTEM V（其实我不太明白这尼玛风格是什么跟什么，我看起来都差不多啊）然后重要的不同之处就是ps -aux会对于查询出来的命令做截断，这样你grep后的结果有可能是不准的。 所以推荐使用... 阅读全文

摘要： 不知道神马原因，反正搞了半天，把集群重启才没有问题。。。奇葩，先做个记录啦 阅读全文

摘要： 顾名思义，跳出的意思啦。例如如图：skipped的stages代表是已经执行过了。所以不需要再执行了。如何，你有一个 testRdd。然后先做 testRdd.Filter("xxx").map("xx")， 这个是transform然后再分别做了count和reduce操作。 这两个都是actio... 阅读全文

摘要： executor显示的内存量是实际执行程序使用的内存量，也就是排除bspark.storage.memoryFraction设置的比例外，然后使用的内存量。 默认是0.6，所以executory和driver默认只会使用40%的内存量 阅读全文

摘要： flume修改配置文件后，flume进程会自动将配置文件更新至服务中，同时会初始化日志，重新对于metrics进行记录的。 所以拿api做监控的同学要注意这点啦 阅读全文

摘要： [ERROR] Plugin org.apache.maven.plugins:maven-shade-plugin:3.1 or one of its dependencies could not be resolved: Failure to find org.apache.maven.plug... 阅读全文

摘要： 这些都是三角形的公式。三角形总之就是一个直角两个锐角。cos就是余弦定理，就是锐角的邻边除以三角形的斜边。sin就是正弦定理，就是锐角的对边除以三角形的斜边。tan就是正切定理，就是锐角的对边除以锐角的邻边。cot就是余切定理，就是锐角的邻边除以锐角的对边。然后还有一堆的转换公式，在这里做一下记录，... 阅读全文

摘要： 参考这里http://grokbase.com/t/cloudera/scm-users/12aayq5cyh/what-is-gateway-in-cloudera-manager实际上Gateway就是一个hive客户端节点，会将hadoop/hbase/mapreduce之类的配置文件推送到客... 阅读全文

摘要： 错误日志如下：2015-06-24 06:13:10,176 ERROR com.cloudera.cmf.eventcatcher.server.EventCatcherService: Error starting EventServerjava.io.FileNotFoundException... 阅读全文

摘要： 使用tail -f监控某个文件，将在另一个窗口将该文件删除后，然后再新创建，那么我们会发现tail -f的监制失效了。而使用tail -F会再次进行监控。 阅读全文