随笔分类 -  Hadoop

MapReduce ----数据去重
摘要:三个文件 2017-03-10 a2017-03-11 b2017-03-12 d2017-03-13 d2017-03-142017-03-15 a 2017-03-10 e2017-03-11 b2017-03-12 c2017-03-132017-03-14 h2017-03-15 a2017 阅读全文

posted @ 2017-03-15 23:56 Honey_Badger 阅读(348) 评论(0) 推荐(0)

MapReduce ----倒排索引
摘要:分别建立三个文件: file1txt file2.txt file3.txt 文件内容分别是: MapReduce is simple 和 MapReduce is powerful is simple 和 Hello MapReduce bye MapReduce 1 2017-03-15 22: 阅读全文

posted @ 2017-03-15 22:30 Honey_Badger 阅读(555) 评论(0) 推荐(0)

报错org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
摘要:报错 java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileS 阅读全文

posted @ 2017-03-15 22:18 Honey_Badger 阅读(3247) 评论(0) 推荐(0)

Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, do
摘要:继上一篇Hive: Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool 阅读全文

posted @ 2017-03-12 17:38 Honey_Badger 阅读(1526) 评论(0) 推荐(0)

hive Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
摘要:Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instant 阅读全文

posted @ 2017-03-12 17:11 Honey_Badger 阅读(7913) 评论(0) 推荐(0)

Flume 1.7.0单机版安装
摘要:下载解压到/usr/local/flume 配置环境变量 在conf里配置flume-env.sh 添加jdk路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 验证是否安装成功 root@kali:~# flume-ng version Fl 阅读全文

posted @ 2017-03-09 21:36 Honey_Badger 阅读(1047) 评论(0) 推荐(0)

2017 Pig-0.16.0安装
摘要:前提:已经装好hadoop2.7.3 单机版本: export PIG_HOME=/usr/local/pig export PATH=$PATH:$PIG_HOME/bin 运行:pig -x local hadoop版本系统配置: export PIG_CLASSPATH=/usr/local/ 阅读全文

posted @ 2017-02-28 14:23 Honey_Badger 阅读(330) 评论(0) 推荐(0)

apache各种软件以及版本下载地址
摘要:http://archive.apache.org/dist/ 阅读全文

posted @ 2017-02-28 02:53 Honey_Badger 阅读(351) 评论(0) 推荐(0)

hadoop java上传文件
摘要:import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import ... 阅读全文

posted @ 2017-02-25 13:09 Honey_Badger 阅读(1642) 评论(0) 推荐(0)

HDFS客户端的权限错误:Permission denied
摘要:报错:Permission denied: user=root, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x 解决方法:放开hdfs上路径权限 例如:user上的权限 或者 系统的环境变量里面添加HADOOP_USER_NAME= 阅读全文

posted @ 2017-02-25 12:59 Honey_Badger 阅读(1736) 评论(0) 推荐(0)

hadoop fs命令
摘要:1,Hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop... 阅读全文

posted @ 2017-02-25 11:22 Honey_Badger 阅读(426) 评论(0) 推荐(0)

解决Unable to load native-hadoop library for your platform
摘要:使用hadoop fs相应命令时候总是出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl 阅读全文

posted @ 2017-02-24 17:48 Honey_Badger 阅读(1079) 评论(0) 推荐(0)

HBase快速安装
摘要:配置hbase-env.sh 配置hbase-site.xml 附加 hbase.rootdir:Region Servers共享的HBase持久化数据的存储地址。需要使用包含文件系统scheme的完全限定地址。 hbase.cluster.distributed:指定Hbase集群是否以分布式方式 阅读全文

posted @ 2017-02-21 00:38 Honey_Badger 阅读(342) 评论(0) 推荐(0)

记一次zookeeper单机伪集群分布
摘要:zookeeper的各版本(历史版本)下载地址:http://apache.org/dist/zookeeper/ 环境》:linux 下载的zookeeper解压成3个 3个(301 、302 、303)都修改conf里面的 zoo.cfg 301的 302 tickTime=2000 dataD 阅读全文

posted @ 2017-02-20 22:26 Honey_Badger 阅读(316) 评论(1) 推荐(0)

ZooKeeper使用命令大全
摘要:stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo 阅读全文

posted @ 2017-02-20 16:39 Honey_Badger 阅读(330) 评论(0) 推荐(0)

单纯linux系统下hadoop2.7.3 eclipse,记一次成功的运行wordcount的注意事项
摘要:,不要建output文件夹 或者 好像这两个图片显示不出来了 12:44:34,422 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java cl 阅读全文

posted @ 2017-02-20 13:26 Honey_Badger 阅读(270) 评论(0) 推荐(0)

配置正确情况下,hadoop 没有namenode的一个解决方法
摘要:将hdfs里name与data清空,和将tmp清空 然后在hadoop目录下运行 hadoop namenode -format 启动 sbin/start-all.sh 阅读全文

posted @ 2017-02-20 10:15 Honey_Badger 阅读(1441) 评论(0) 推荐(0)

linux hadoop2.x快速安装
摘要:........ http://blog.csdn.net/se7en_q/article/details/47258007 阅读全文

posted @ 2017-02-19 23:44 Honey_Badger 阅读(185) 评论(0) 推荐(0)

导航

github