01 2013 档案

摘要：从yum安装hbase集群的时候，有时候主机和节点不能启动Hmaster和Hregionserver。日志提示不能正确解析从节点主机名称，主机从官网上查看，得知yum安装的hbase需要用DNS服器进行解析：于是就在主节点上设置dns服务器；（我开始是用yum安装的，最后在公司服务器部署的时候用的是rpm包安装的，区别是安装后的配置文件保存的路径不一样，yum安装会比较简单，因为不需要考虑安装包之间的依赖关系）安装包如下：bind-devel-9.3.6-16.P1.el5.i386.rpmbind-libbind-devel-9.3.6-16.P1.el5.i386.rpmbind-libs 阅读全文

摘要：之前dfs.replication值为3，运行一段时间之后我使用完了磁盘空间，所以呢，现在我想通过降低备份的个数来释放空间。那么对于之前存储的文件会自动把备份数改为1吗？还是需要手动执行命令来执行呢？dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。但是可以通过如下命令更改备份数：bin/hadoop fs -setrep -R 1 / 阅读全文

摘要：默认的方式下linux会把文件访问的时间atime做记录，这在绝大部分的场合都是没有必要的，如果遇到机器IO负载高或是CPU WAIT高的情况，可以尝试使用noatime和nodiratime1、修改/etc/fstab，类似LABEL=/ / ext3 defaults 1 1改成LABEL=/ / ext3 defaults,noatime,nodiratime 1 1或者LABEL=/ / ext3 defaults,relatime 1 12、remount分区mount -o remount /remount这个动作大可放心执行，顶多冒点汗。如果不想改fstab，或者fstab中没有 阅读全文

摘要：Hadoop安装时需要指定HADOOP_HOME位置。可以使用如下三种export方法：1、直接使用export命令#export HADOOP_HOME=/home/sj/hadoop-x#export JAVA_HOME=/home/sj/java.x#export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME\bin#看是否已经设好，可用命令export查看：#export注意： 直接用export命令只会对当前shell窗口起作用，重启或者重新打开shell窗口时，环境变量就会丢失。 2、修改全局profile文件（本人强烈建议安装hadoop时创建一个 阅读全文

摘要：最近在学习 python 有些基本配置的问题，经试验，可行，摘录下来1、下载安装 Pythonpython-2.7.2.msi http://www.python.org/download/如下载 Python 2.7.2，安装目录为 C:\Python272、添加环境变量path = C:\Python27此步骤可实现在命令行下，不用进入 Python 目录即可执行 python.exe3、下载 setuptools注意对应 Python 的版本，完成后运行 exe 即可完成安装setuptools-0.6c11.win32-py2.7.exehttp://pypi.python.org/p 阅读全文

摘要：1. 设置STATIC_ROOT = os.path.join(os.path.dirname(__file__),'static')2. 设置STATIC_URL = '/static/'3.配置STATICFILES_DIRSSTATICFILES_DIRS = ( ('css',os.path.join(STATIC_ROOT,'css').replace('\\','/') ), ('js',os.path.join(STATIC_ROOT,'js').rep 阅读全文

摘要：当我们需要调用系统的命令的时候，最先考虑的os模块。用os.system()和os.popen()来进行操作，很多时候需要进行用户身份模拟或者用户切换，通过设置subprocess中的Popen的env变量可以实现相关功能。创建一个可以执行文件，文件命名为：echoenv.py，该文件的作用是显示当前系统用户，文件内容如下：import osprint(os.environ['USER'])执行代码如下：>>>import shlex, subprocess>>>command_line = raw_input()>>>py 阅读全文

摘要：安装过程：1、首先，从oracle官网上下载相应版本的JDK，这里用的是jdk-6u33-linux-x64.bin2、拷贝到要安装JDK的目录下（本例为 /usr/local 目录下）3、修改为可执行：chmod 777 jdk-6u33-linux-x64.bin4、执行安装：./jdk-6u33-linux-x64.bin5、安装完成，可以看到jdk1.6.0_33目录已经生成了6、删除jdk-6u33-linux-x64.bin经过以上步骤后，JDK就已经安装完成了，但是还需要执行以下配置系统配置：1、使用VI编辑 /etc 下的 profile 文件2、在 export 命令之前添加 阅读全文

摘要：如果你不想在mapreduce程序运行之前手动清除output目录，可以编写代码在程序运行之前清除output目录，具体做法如下：FileSystem fs =FileSystem.get(conf);Path output=new Path('/tmp/output');fs.delete(output,true);FileSystem.delete（Path f，Boolean recursive）可删除指定的HDFS文件，其中f为需要删除文件的完整路径，recuresive用来确定是否进行递归删除 阅读全文

摘要：在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目标而不是针对账号，所有在管理上最好让每个账号仅操作某一个目录，然后对目录设置配置。 设定方法有两种：Name Quotas：设置某一个目录下文件总数Space Quotas：设置某一个目录下可使用空间大小 默认情况下Hdfs没有任何配置限制，可以使用 hadoop fs -count 来查看配置情况 hadoop fs -count -q /user/seamon 以下是结果，none和inf表示没有... 阅读全文

摘要：1. 处理hadoop的namenode宕机处理措施：进入hadoop的bin目录，重启namenode服务操作命令：cd path/to/hadoop/bin./hadoop-daemon.sh start namenode2. 处理hadoop的jobtacker宕机处理措施：进入hadoop的bin目录，重启jobtacker服务操作命令：cd path/to/hadoop/bin./hadoop-daemon.sh start jobtracker3. 处理hadoop的datanode宕机处理措施：进入hadoop的bin目录，重启datanode服务操作命令：cd path/to/ 阅读全文