随笔分类 -  Hadoop

Hadoop Hbase Hive等技术
hadoop hbase 完全分布式
摘要:环境:三台机器,118做为Master,其他机器作为Slaver。hadoopMaster:192.168.61.118centos1: 192.168.61.137centos2:192.168.61.1380、准备工作在所有机器上修改机器名和Hosts文件1)修改主机名:vi /etc/sysconfig/network添加一行记录,如192.168.61.118 hadoopMaster2)修改hosts文件vi /etc/hosts每台机器都设置如下192.168.61.118 hadoopMaster hadoopMaster192.168.61.137 centos1192.168 阅读全文
posted @ 2012-01-29 15:04 冰羽的世界 阅读(909) 评论(0) 推荐(0)
Hbase错误持续汇总
摘要:1、当一个客户端对Hbase进行大量操作时,我对这个表进行count时,发现到2000多万行时,Hbase 报java.io.IOException:Could not seekStoreFileScanner,……Caused by: java.io.IOException: Could notobtain block……网上资料说修改 hadoop的配置文件 conf/hdfs-site.xml,添加 <property> <name>dfs.datanode.max.xcievers</name> <value>4096</value 阅读全文
posted @ 2012-01-15 15:38 冰羽的世界 阅读(632) 评论(0) 推荐(0)
Hadoop学习资源
摘要:记录一些Hadoop相关的学习资源,以备忘。Hadoop中文版官方文档:http://hadoop.apache.org/common/docs/r1.0.0/cn/index.htmlHbase官方文档翻译版:http://www.yankay.com/wp-content/hbase/book.htmlcloudera官方网站:http://www.cloudera.com/resources/HBase官网:http://hbase.apache.org/ 它的FAQ和Book (single-page)里面有一些有用的玩意。 阅读全文
posted @ 2011-12-30 21:36 冰羽的世界 阅读(262) 评论(0) 推荐(0)