随笔分类 -  hadoop 分析

hdfs 创建一个新用户
摘要：需要给第三方提供hdfs用户，和上传文件的权限 1、需要先在linux 上创建一个普通用户： hn,并修改密码 sudo -u hdfs hadoop fs -mkdir /user/用户名 sudo -u hdfs hadoop fs -mkdir /user/hn sudo -u hdfs ha 阅读全文
posted @ 2016-07-27 10:55 zhanggl 阅读(4254) 评论(0) 推荐(0)
java.lang.NoSuchMethodError: com.google.common.hash.HashFunction.hashInt(I)Lcom/google/common/hash/HashCode; 解决办法
摘要：今天在java 上运行spark查询的时候出现一个问题：java.lang.NoSuchMethodError: com.google.common.hash.HashFunction.hashInt(I)Lcom/google/common/hash/HashCode;后google 了一下找到了... 阅读全文
posted @ 2015-04-15 15:15 zhanggl 阅读(2805) 评论(0) 推荐(0)
Hadoop节点集群挂了，Hbase数据源损坏怎么办
摘要：今天集群节点一下子挂了5台，hbase的数据块也损坏。hadoop日志.0.15:36642 dest: /ip:500102014-08-26 15:01:14,918 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode i... 阅读全文
posted @ 2014-12-31 14:44 zhanggl 阅读(1823) 评论(0) 推荐(0)
linux 下 CDH4.5编译
摘要：1、安装JDK JDK:我这里安装的是jdk1.6.0_23 1.1:给文件执行的权限chmodu+x jdk-6u23-linux-x64.bin 1.2: ./jdk-6u23-linux-x64.bin ,会生成一个jdk1.6.0_23 的文件 1.3: 在/etc/... 阅读全文
posted @ 2014-07-23 16:36 zhanggl 阅读(662) 评论(0) 推荐(0)
hadoop 8088 看不到mapreduce 任务的执行状态
摘要：进到8088页面后，怎么看不到mapreudce的执行状态，有哪里需要配置的解决办法：在$HADOOP_HOME/conf/mapred-site.xml 在原来的配置文件基础之上添加： mapreduce.framework.name yarn mapre... 阅读全文
posted @ 2014-07-22 16:09 zhanggl 阅读(2519) 评论(0) 推荐(0)
如果一个文件块有130M，请问有多少个mapper
摘要：如果一个文件块有130M，请问有多少个mapper 130M的文件将被分成2个mapper。原因：根据FileInputFormat类有一个成员变量private static final double SPLIT_SLOP = 1.1也就是说如果文件大小在10%之内，程序并不会单独去开启一个map... 阅读全文
posted @ 2014-07-22 15:49 zhanggl 阅读(479) 评论(0) 推荐(0)