2014年3月26日
Could not load db driver class: com.mysql.jdbc.Driver解决方法
摘要： 14/03/26 22:43:24 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driverjava.lang.RuntimeException: Could not load db driver ... 阅读全文
posted @ 2014-03-26 23:06 向着梦想奋斗 阅读(16836) 评论(0) 推荐(0)
2014年3月18日
Hive 0.12 Caused by: MetaException(message:Version information not found in metastore. )解决方法
摘要： 配置完成Mysql存储元数据信息，启动后测试show tables报错ERROR exec.DDLTask: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStor... 阅读全文
posted @ 2014-03-18 02:26 向着梦想奋斗 阅读(10867) 评论(0) 推荐(0)
2014年3月16日
Hadoop2学习记录（1） |HA完全分布式集群搭建
摘要： 准备 系统：CentOS 6或者RedHat 6（这里用的是64位操作） 软件：JDK 1.7、hadoop-2.3.0、native64位包（可以再csdn上下载，这里不提供了） 部署规划 192.168.1.11 C6H1 NameNode、DataNode、ResourceManager、NodeManager、JournalNode 192.168.1.12 C6H2 NameNode、... 阅读全文
posted @ 2014-03-16 01:41 向着梦想奋斗 阅读(616) 评论(0) 推荐(0)
2014年3月15日
Does not contain a valid host;port authority解决方法
摘要： ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host;port authority 这个问题找了很久的原因没找到，最后通过强大的google才找到一篇文章写着linux系统不能有下划线，果断更改主机名，格式化成功。 阅读全文
posted @ 2014-03-15 17:05 向着梦想奋斗 阅读(3004) 评论(0) 推荐(0)
2014年3月13日
org.apache.hadoop.hbase.TableNotDisabledException 解决方法
摘要： Exception in thread "main" org.apache.hadoop.hbase.TableNotDisabledException: org.apache.hadoop.hbase.TableNotDisabledException: log2 at org.apache.hadoop.hbase.master.HMaster.checkTableModifiable(HMa... 阅读全文
posted @ 2014-03-13 15:05 向着梦想奋斗 阅读(4443) 评论(0) 推荐(0)
Hbase学习记录（2）| Shell操作
摘要： 查看表结构 describe ‘表名’ 查看版本 get ‘表名’,’zhangsan’{COLUMN=>’info:age’,VERSIONS=>3} 删除整行 deleteall ‘表名’ 清空表 truncate ‘表名’ 关闭表 disable ‘表名’ 开启表 enbale ‘表名’ 添加列族 alter ‘表名’,{NAME=>’f2’,VERSIONS=>3} //添加前需要先关闭表... 阅读全文
posted @ 2014-03-13 11:38 向着梦想奋斗 阅读(442) 评论(0) 推荐(0)
2014年3月12日
Hbase学习记录（1）|伪分布式安装
摘要： 概述 Hbase –Haddop Database 是一个高性能，高可靠性、面向列、可伸缩的分布式存储系统。 Hbase利用HDFS作为文件存储系统，利用MapReduce来处理Hbase的海量数据，利用Zookeeper作为协调工具。 是NoSQL的一种。 数据模型 表(table)，是用来存储管理数据的，是在schema声明的时候定义 行健(row key)，类似于MySQL中的主键，与... 阅读全文
posted @ 2014-03-12 14:44 向着梦想奋斗 阅读(571) 评论(0) 推荐(0)
Zookeeper集群安装详解
摘要： Zookeeper的角色 Zookeeper集群搭建 要求：服务器集群规模不小于3个节点，各服务器之间系统时间要保持一致！ 安装步骤 1、在h1节点解压，目录改名。 tar –zxvf zookeeper-x.tar.gz –C /usr/src cp zookeeper-XX.X /usr/local/zk 2、设置环境变量 export ZOOKEEPER_HOME=/usr/local/... 阅读全文
posted @ 2014-03-12 11:11 向着梦想奋斗 阅读(279) 评论(0) 推荐(0)
使用Hadoop打造私有云盘之API操作
摘要： 项目介绍：使用hadoop实现云盘的增删读获取列表功能，hadoop不支持数据修改，特性是一次写入多次读取。主流的网盘也不支持该功能。今天我们用hdfs的FileSystem实现这些操作。 1、上传功能 指定文件的本地路径和hdfs存储路径，通过hadoop提供的IOUtils工具类将流写入到hdfs中。 2、下载功能 指定要访问的hdfs中的文件路径，使用FileSystem的open函数获取H... 阅读全文
posted @ 2014-03-12 11:00 向着梦想奋斗 阅读(1649) 评论(0) 推荐(0)
ipc.Client: Retrying connect to server: h1/192.168.1.61:9000. Already tried 0 time(s);解决方法
摘要： 1、检查namenode服务器的是否运行正常，我的问题是没有开启hadoop集群出现的。 2、检查namenode服务器的防火墙是否开放的响应端口，一般内网建议关闭。 阅读全文
posted @ 2014-03-12 10:05 向着梦想奋斗 阅读(3876) 评论(0) 推荐(0)