2017年8月9日
mr中间结果优化
摘要： 转载请注明出处：http://blog.csdn.net/lastsweetop/article/details/9187721 作为输入 当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。 作为输出 当mapreduce的输出文件需要压缩时， 阅读全文
posted @ 2017-08-09 19:25 牵牛花 阅读(265) 评论(0) 推荐(0)
spark读取本地文件
摘要： 由spark的源码源码的注释可以知道,spark可以读取本地数据文件,但是需要在所有的节点都有这个数据文件(亲测,在有三个节点的集群中,只在master中有这个数据文件时执行textFile方法一直报找不到文件, 在另外两个work中复制这个文件之后,就可以读取文件了) 阅读全文
posted @ 2017-08-09 14:26 牵牛花 阅读(14540) 评论(0) 推荐(0)
spark读取gz文件
摘要： spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别： 使用spark-shell进入spark shell 交互界面： 输入命令： sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println) 回车后是可以 阅读全文
posted @ 2017-08-09 11:24 牵牛花 阅读(2522) 评论(0) 推荐(0)
phoenix 入门
摘要： http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html Blah, blah, blah - I just want to get started!Ok, great! Just follow our install instruct 阅读全文
posted @ 2017-08-09 10:03 牵牛花 阅读(280) 评论(0) 推荐(0)
Hbase脚本小结
摘要： 脚本使用小结： 1.开启集群，start-hbase.sh 2.关闭集群，stop-hbase.sh 3.开启/关闭所有的regionserver、zookeeper，hbase-daemons.sh start/stop regionserver/zookeeper 4.开启/关闭单个region 阅读全文
posted @ 2017-08-09 09:08 牵牛花 阅读(517) 评论(0) 推荐(0)
org.apache.hadoop.hbase.DoNotRetryIOException: Class org.apache.phoenix.coprocessor.MetaDataEndpointImpl cannot be loaded Set hbase.table.sanity.checks to false at conf or table descriptor if you want
摘要： https://stackoverflow.com/questions/38495331/apache-phoenix-unable-to-connect-to-hbase 这个坑不该啊 首选配置hbase 集群是按照官网配置的 配置phoenix 是按照官网上配置的,结果就是报错了,看了stock 阅读全文
posted @ 2017-08-09 01:21 牵牛花 阅读(5382) 评论(0) 推荐(0)