05 2015 档案

摘要：一、Pig 优化 pig 主要瓶颈： (1). 输入数据量大小 (2). shuffle大小，即Map输出的大小 (3). 输出结果大小 (4). 中间结果大小 (5).内存 主要优化策略： 1. 尽早过滤 （filter） ，去除不需要的记录行 2. 尽早映射 （foreach......gene 阅读全文

摘要：http://blog.csdn.net/dmcpxy/article/details/18257065 1.1 配置 编辑$HADOOP_HOME/etc/hadoop/hdsf-site.xml文件，增加如下配置： <property> <name>dfs.access.time.precisi 阅读全文

摘要：http://blog.csdn.net/dmcpxy/article/details/182570651.1 配置编辑$HADOOP_HOME/etc/hadoop/hdsf-site.xml文件，增加如下配置： dfs.access.time.precision 3600000 The acce... 阅读全文

摘要：Linux 技巧：让进程在后台可靠运行的几种方法申 毅, 软件工程师, IBM 中国软件开发中心2008 年 5 月 29 日我们经常会碰到这样的问题，用 telnet/ssh 登录了远程的 Linux 服务器，运行了一些耗时较长的任务， 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不受... 阅读全文

摘要：Linux 技巧：让进程在后台可靠运行的几种方法 申 毅, 软件工程师, IBM 中国软件开发中心 2008 年 5 月 29 日 我们经常会碰到这样的问题，用 telnet/ssh 登录了远程的 Linux 服务器，运行了一些耗时较长的任务， 结果却由于网络的不稳定导致任务中途失败。如何让命令提交 阅读全文