虚怀若谷

摘要： 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/security/limits.conf加上：* soft nofile 102400* hard nofile 409600$cd /etc/pam.d/$sudo vi login添加 session required 阅读全文

摘要： /var/hadoop/hdfs_folder/dfs/data/current 的目录下有数据存储，/var/hadoop/hdfs_folder/dfs/data/即为dfs.data.dir目录/var/hadoop/hdfs_folder/dfs/data/ 阅读全文

摘要： vi /etc/sysctl.conf02# Add03net.ipv4.tcp_max_syn_backlog = 6553604net.core.netdev_max_backlog = 3276805net.core.somaxconn = 327680607net.core.wmem_default = 838860808net.core.rmem_default = 838860809net.core.rmem_max = 1677721610net.core.wmem_max = 167772161112net.ipv4.tcp_timestamps = 113net.ipv4.t 阅读全文

摘要： 机房搬迁，最近集群老是丢失datanode。查找原因：（1）用户进程可打开文件数限制http://www.54chen.com/java-ee/hive-hadoop-blockalreadyexistsexception.html在/etc/security/limits.conf 添加：hado... 阅读全文

摘要： Linux TCP 连接数修改一、 文件数限制修改(1) vi /etc/security/limits.conf* soft nofile 10240* hard nofile 10240(2) vi /etc/pam.d/loginsession required /lib/security/pam_limits.so二、 网络端口限制修改(1) vi /etc/rc.d/rc.local/sbin/modprobe ip_conntrack # 加载 ip_contrack 模块# /sbin/sysctl –p #　使 /etc/sysctl.conf 的配置生效，根据实际情况来决定是 阅读全文

摘要： Posted on 2011-08-15 by 54chenhive版本：0.7.0 hadoop版本：0.20.2在线上跑了一个季度了，基本上没什么问题，今天突然出了问题。在hive执行时留下的蛛丝马迹：Failed with exception org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet:/tmp/hive-root/hive_2011-08-15_00-31-02_332_247809173824307798/-ext-10000/access_bucket-20 阅读全文

摘要： 编译源码保存的位置：I:\hive0.70\ql\src\java\org\apache\hadoop\hive\ql\execHive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。Hive的UDF开发只需要重构UDF类的evaluate函数即可。例：package com.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class helloUDF extends UDF {public String evaluate(String str) 阅读全文

摘要： 敏捷开发项目管理XP工作单元测试作者 Kenji Hiranabe 译者 郭晓刚 发布于 2007年9月13日 下午1时30分在敏捷项目里，挂在墙上的“人人可见的大图表”是一种普遍的实践，它被用来共享项目的状态并将之可视化。精益系统里也有这样的设施。“看板”在日语里的大意是“卡片”或者“标志”的意思。在精益生产系统里，看板方法是给每个标准生产单元或者每个生产批量附上一张卡片。只有当一个“进行中”卡片所代表的工作完成后，才会有一张新卡片被“拉”进系统。在本文中，我将探究当今敏捷项目中广泛使用的各种可视化方法，并提出用看板图（Kanban Board）来组织三种视角（时间、任务和团队），目的是使整 阅读全文

摘要： 安装sun-java5-jdk 在ubuntu 9.10 提示"无法找到软件包sun-java5-jdk&#... sun-java5-jdk在ubuntu 9.10的source里已经去掉了，如果安装则提示如下：root@mike-desktop:/home/mike/ti_android#sudo apt-get install sun-java5-jdk正在读取软件包列表...完成正在分析软件包的依赖关系树正在读取状态信息...完成E:无法找到软件包sun-java5-jdk成都明诚科技的解决办法是：1、sudo gedit /etc/apt/sources.list加 阅读全文

摘要： scp 命令 scp 命令是 SSH 中最方便有用的命令了，试想，在两台服务器之间直接传送文件，仅仅用 scp 一个命令就完全解决了。 你可以在一台服务器上 以 root 身份运行 #scp servername:/home/ftp/pub/file1 . 这样就把另一台服务器上的文件 /home/ftp/pub/file1 直接传到本机器的当前目录下，当然你也可以用 #scp /tmp/file2 servername:/boot 把本机上的文件 /tmp/file2 送到另一台机器的 /boot 目录下。而且整个传送过程仍然是用 SSH 加密的。 scp 就是 secure copy, 是 阅读全文