摘要：
关于Web界面查看日志的权限问题@(Hadoop)访问集群的8088端口，通过web ui查看作业日志时，发现没有权限查看，8088主界面右上角显示Logged in as : dr.who，即匿名用户。修改core-site.xml，添加以下内容：hadoop.http.filt... 阅读全文
摘要：
使用rsync进行多服务器同步@(Others)当集群数量很大时，修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。rsync是linux上实现不同机器之间文件同步、备份的工具，centos系统中默认已经安装，使用rsync -h检查是否已经安装rsync。使用前提确保... 阅读全文
摘要：
Hadoop平台配置汇总@(Hadoop)Hadoophadoop-env.sh和yarn-env.sh中export log和pid的dir即可和JAVA_HOME。core-site.xmlfs.defaultFShdfs://ns1hadoop.tmp.dir/data2/h... 阅读全文
摘要：
Hadoop 添加删除Slave@(Hadoop)在hdfs-site.xml文件中添加如下配置：dfs.hosts/root/jiangyuande/hadoop/etc/hadoop/datanode-allow.listdfs.hosts.exclude/root/jiang... 阅读全文
摘要：
mr程序无法输出日志进行调试的解决方法@(Hadoop)yarn开启日志输出设置在yarn-site.xml文件中添加如下配置：yarn.log-aggregation-enabletrueyarn.nodemanager.remote-app-log-dir/oracle/had... 阅读全文
摘要：
2015年度总结@(Others)仍然是来的有点迟的年度总结。。。废话不多说，上15年的收获、目标和完成度以及16年的计划以及预期到达的程度。15年的收获经历了人生中的第一份coding工作，也经历了人生中的第一次跳槽，迎来第二份coding。。。在第一家公司干了半年的活，大部分的... 阅读全文
摘要：
Hadoop数据目录迁移@(Hadoop)随着数据的不断导入和增大，原本集群部署的目录磁盘空间不足了，所以要把hadoop存储数据的位置迁移到另外一个巨大的磁盘上，另外的一个用意是将数据和程序分离开，以免互相影响。以下是迁移过程和需要注意的一些地方：动手之前先把集群停止，如果有hb... 阅读全文
摘要：
Oracle数据迁移至HBase操作记录@(HBase)近期需要把Oracle数据库中的十几张表T级别的数据迁移至HBase中，过程中遇到了许多苦难和疑惑，在此记录一下希望能帮到一些有同样需求的兄弟。HBase表设计首先，是根据Oracle的数据规划HBase的表和表结构。 从业务... 阅读全文
摘要：
Hadoop端口一览表@(Hadoop) 端口名 用途 50070 Hadoop Namenode UI端口 50075 Hadoop Datanode UI端口 50090 Hadoop SecondaryNamenode 端口 50030 JobTracke... 阅读全文
摘要：
Hadoop Maven pom文件示例@(Hadoop) 4.0.0 Chinasofti Bigdata 1.0-SNAPSHOT org.apache.hadoop hadoop-hd... 阅读全文