虚怀若谷

摘要： 创建test_rc;让后从老数据中插入test_rc中，select test_rc 中插入的数据，报如下错误：Failed with exception java.io.IOException:java.io.IOException: not a gzip file 阅读全文

摘要： link：http://anyoneking.com/archives/127hive表分为内部表和外部表。外部表在删除的时候并不会删除到hdfs中的文件，比较安全，所以对于重要的需要进行分析的日志建议使用外部表进行操作，这样不会出现误操作影响到日志的存储。内部表在阐述的时候会删除掉hdfs中的文件，所以一般用于创建临时表，这样临时表在删除后，也会删除掉hdfs中的数据ALTER TABLE test SET TBLPROPERTIES ('EXTERNAL'='TRUE'); 阅读全文

摘要： 一开始用hadoop2.2.0 + hbase 0.96 + hive 0.12 ，基本全部都配好了。只有在hive中查询hbase的表出错。以直报如下错误：java.io.IOException: java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writabl 后来发现hbase0.96和hive0.12不兼容，hive-hbase-handle-0.12.0.jar不兼容hbase0.96，hive0.12还停留在hadoo. 阅读全文

摘要： hbase regionserver挂掉~org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /hbase/.logs/irsadmin62,60020,1384251075284/irsadmin62%2C60020%2C1384251075284.1384274889480: File does not exist. Holder DFSClient_hb_rs_irsadmin62,60020,13842510752 阅读全文

摘要： 使用dd命令创建一个swap分区[root@localhost Desktop]#dd if=/dev/zero of=/home/swap bs=1024 count=1048576count的计算公式： count=SIZE*1024(size以MB为单位）这样就建立一个/home/swap的分区文件，大小为1G，接着需要格式化新建的SWAP分区：[root@localhost Desktop]# mkswap /home/swap再用swapon命令把这个文件分区变成swap分区[root@localhost Desktop]#swapon /home/swap（关闭SWAP分区命令为. 阅读全文

摘要： MetaException(message:Version information not found in metastore. )Hive now records the schema version in the metastore database and verifies that the metastore schema version is compatible with Hive binaries that are going to accesss the metastore. Note that the Hive properties to implicitly create 阅读全文

摘要： 转：http://springsfeng.iteye.com/blog/17345171 . 首先请安装好MySQL并修改root账户密码,使用root账户执行下面命令:su - root mysqlGRANT ALL PRIVILEGES ON *.* TO 'root'@'localhost' IDENTIFIED BY 'root' WITH GRANT OPTION;2. 创建Hive用户: 使用root账户执行下面命令：su - root mysql -uroot -p CREATE USER 'hive'@'l 阅读全文

摘要： 转：http://blog.csdn.net/bamuta/article/details/12995139解决办法 ：在1个网站上找到了解决方法，（网络忘了没记）urg, my copy/paste was botched up but hopefully this still makes sense. The value mapreduce.shuffle is now mapreduce_shuffle and the name yarn.nodemanager.aux-services.mapreduce.shuffle.class is now yarn.nodemanager.au 阅读全文

摘要： zookeeper运行时间长了以后，日志会成为一个比较大的问题。比如作者压力测试hbase一周以后，zookeeper日志文件达到了10G的规模。由于zookeeper日志文件不能随意删除，因为一个长时间不更新的节点完全有可能存在于几天前的一个日志文件中。那么如何安全地删除它们呢？可以自己编写程序处理，但是zookeeper也提供给了我们一个方便的小工具：PurgeTxnLog 用法：Java代码java-Djava.ext.dirs=liborg.apache.zookeeper.server.PurgeTxnLoglog_pathsnap_path-n10 其中-n 表示要保留多少个文件. 阅读全文

摘要： http://wiki.apache.org/hadoop/Hbase/Troubleshooting 阅读全文