11 2014 档案

Vim编辑器基本操作学习(一)
摘要：最近在服务端编辑文件总不可避免要使用vim编辑器，下面就对学习到的常用命令进行总结，以便自己以后查看。 基本编辑命令 删除字符：x删除一行：dd删除换行符：J，同时将两行合并成一行撤销上一次的操作：u重做，反转撤销：Ctrl+R 一些基本编辑命令可以使用命令计数，比如向下移动3行，可以直接... 阅读全文
posted @ 2014-11-30 15:26 clamaa 阅读(194) 评论(0) 推荐(0)
hadoop map任务Combiner被调用的源码逻辑简要分析
摘要：从MapTask类中分析下去，看一下map任务是如何被调用并执行的。 入口方法是MapTask的run方法，看一下run方法的相关介绍： org.apache.hadoop.mapred.Taskpublic abstract void run(JobConf job, ... 阅读全文
posted @ 2014-11-29 17:09 clamaa 阅读(404) 评论(0) 推荐(0)
hadoop从调整GC到关键Counter计算原理分析
摘要：hadoop集群中发现使用Parallel Scavenge+Parallel Old收集器组合进行垃圾收集（这也是server端jvm默认的GC方式）时CPU占用可能会非常高，偶尔会出现爆满的状态，考虑可能是由于当时程序在执行GC导致的，而且很可能是由于并行GC导致的，我们根据服务器启动... 阅读全文
posted @ 2014-11-22 14:50 clamaa 阅读(1194) 评论(0) 推荐(0)
hadoop中使用hprof工具进行性能分析
摘要：在编写完成MapReduce程序之后，调优就成为了一个大问题。如何使用现有工具快速地分析出任务的性能？ 对于本地的java应用程序，进行分析可能稍微简单，但是hadoop是一个分布式框架，MapReduce任务可能在集群中的任意机器上被调度运行。而且本地Job运行器是一个与集群差异非常大的环... 阅读全文
posted @ 2014-11-19 17:06 clamaa 阅读(1450) 评论(0) 推荐(0)
hadoop map端的超时参数
摘要：目前集群上某台机器卡住导致出现大量的Map端任务FAIL，当定位到具体的机器上时，无法ssh或进去后terminal中无响应，退出的相关信息如下：[hadoop@xxx ~]$ Received disconnect from xxx: Timeout, your session not... 阅读全文
posted @ 2014-11-15 22:21 clamaa 阅读(1152) 评论(0) 推荐(0)
一次hadoop集群机器加内存的运维过程
摘要：由于前期的集群规划问题，导致当前Hadoop集群中的硬件并没有完全利用起来。当前机器的内存CPU比例为2G：1core，但一般的MapReduce任务（数据量处理比较大，逻辑较复杂）的MR两端都需要将近4G的内存，于是原有的瓶颈就在于内存不够大，周末就和运维部门一起执行当前集群的机器加内存操... 阅读全文
posted @ 2014-11-08 21:45 clamaa 阅读(1321) 评论(0) 推荐(0)
算法学习－回溯法
摘要：八皇后问题是一个以国际象棋为背景的问题，如何在8*8的棋盘上放置8个皇后，使得任何一个皇后都无法直接吃掉其他的皇后。其实8皇后问题也可以推广为更为一般的n皇后问题，棋盘大小变为n*n，当n＝2或者3时，是不存在解的，问题的限制有： 所有的皇后都不能在同一行或同一列，也就是说每行或每列都只能... 阅读全文
posted @ 2014-11-07 16:50 clamaa 阅读(269) 评论(0) 推荐(0)
项目中Map端内存占用的分析
摘要：最近在项目中开展重构活动，对Map端内存尽量要省一些，当前的系统中Map端内存最高占用大概3G左右（设置成2G时会导致Java Heap OOM）。虽然个人觉得占用不算多，但是显然这样的结果想要试图去说服一些对内存占用非常挑剔的C++程序员们理由还是不够，于是便通过一定的方式对内存的占用进... 阅读全文
posted @ 2014-11-02 21:30 clamaa 阅读(1554) 评论(0) 推荐(1)