姜宏伟

摘要： 例如：id name value1 a pp2 a pp3 b iii4 b pp5 b pp6 c pp7 c pp8 c iiiid是主键要求得到这样的结果id name value1 a pp3 b iii4 b pp6 c pp8 c iii方法1delete YourTablewhere ... 阅读全文

摘要： 在MapReduce执行过程中，特别是Shuffle阶段，尽量使用内存缓冲区存储数据，减少磁盘溢写次数；同时在作业执行过程中增加并行度，都能够显著提高系统性能，这也是配置优化的一个重要依据。下面分别介绍I/O属性和MapReduce属性这两个类的部分属性，并指明其优化方向。1 I/O属性类的优化I/... 阅读全文

摘要： mapred.tasktracker.map.tasks.maximum官方解释：The maximum number of map tasks that will be runsimultaneously by a task tracker.我的理解：一个tasktracker最多可以同时运行的m... 阅读全文

摘要： 转自：http://pangge.blog.51cto.com/6013757/1319304MySQL日志：主要包含：错误日志、查询日志、慢查询日志、事务日志、二进制日志；日志是mysql数据库的重要组成部分。日志文件中记录着mysql数据库运行期间发生的变化；也就是说用来记录mysql数据库的客... 阅读全文

摘要： c3p0的配置方式分为三种，分别是1.setters一个个地设置各个配置项2.类路径下提供一个c3p0.properties文件3.类路径下提供一个c3p0-config.xml文件1.setters一个个地设置各个配置项这种方式最繁琐，形式一般是这样：Properties props = new ... 阅读全文

摘要： Ganglia监控Hadoop集群的安装部署一、 安装环境Ubuntuserver 12.04安装gmetad的机器：192.168.52.105安装gmond的机 器：192.168.52.31，192.168.52.32，192.168.52.33，192.168.52.34，192.168.5... 阅读全文

摘要： Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程-----将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看... 阅读全文

摘要： innodb_flush_method这个参数控制着innodb数据文件及redo log的打开、刷写模式，对于这个参数，文档上是这样描述的：有三个值：fdatasync(默认)，O_DSYNC，O_DIRECT默认是fdatasync，调用fsync()去刷数据文件与redo log的buffer... 阅读全文

摘要： 安装：wgethttp://innotop.googlecode.com/files/innotop-1.8.0.tar.gz# perl Makefile.PL# make install解决Can't locate Term/ReadKey.pm in @INC 错误方式如下# wgethttp... 阅读全文

摘要： 参数调优内容：1. 内存利用方面2. 日值控制方面3. 文件IO分配，空间占用方面4. 其它相关参数１.内存利用方面：首先介绍一个Innodb最重要的参数：innodb_buffer_pool_size这个参数和MyISAM的key_buffer_size有相似之处，但也是有差别的。这个参数主要缓存... 阅读全文