随笔分类 -  Hadoop

上一页 1 2 3
linux编译64bitHadoop (eg: ubuntu14.04 and hadoop 2.3.0)
摘要：Hadoop官网提供的编译好的hadoop-2.3.0.tar.gz二进制包是在32位系统上编译的，在64系统上运行会有一些错误，比如：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 阅读全文
posted @ 2015-12-29 18:55 大数据从业者FelixZh 阅读(247) 评论(0) 推荐(0) 编辑
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
摘要：原文：http://my.oschina.net/wstone/blog/365010#OSC_h3_13(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南[X] 安装环境:[X] 编译hadoop[1] 拷贝hadoop-2.2.0-src.tar.gz到hado... 阅读全文
posted @ 2015-11-06 11:20 大数据从业者FelixZh 阅读(584) 评论(0) 推荐(0) 编辑
hadoop本地库无法加载
摘要：（1）设置环境变量 export HADOOP_HOME=/your/own/hadoop/home export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.p... 阅读全文
posted @ 2015-08-13 14:28 大数据从业者FelixZh 阅读(683) 评论(0) 推荐(0) 编辑
Hadoop开发中，如何开启、关闭控制台打印调试信息
摘要：第一种方法： 修改$HADOOP_CONF_DIR/log4j.properties文件hadoop.root.logger=ALL,console第二种方法 开启：export HADOOP_ROOT_LOGGER=DEBUG,console 关闭：export HADOOP_ROOT_LO... 阅读全文
posted @ 2015-08-05 15:45 大数据从业者FelixZh 阅读(1670) 评论(0) 推荐(0) 编辑
Hadoop的mapreduce开发过程，我遇到的错误集锦（持续更新）
摘要：1.Text包导错了。将import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;改为import org.apache.hadoop.io.Text;.2.本地编译环境和生产环境中的java版本不匹配。有... 阅读全文
posted @ 2015-08-02 23:24 大数据从业者FelixZh 阅读(506) 评论(0) 推荐(0) 编辑
hadoop1.2.1的namenode格式化失败的问题
摘要：最近要开始找工作，就在原来搭建好的hadoop1.2.1的伪分布式跑跑mapreduce很久没用，就想着格式化一下namode，结果：Format aborted in /uar/local/hadoop/tmp/dfs/name进入tmp查看以前格式化过了，如果多少次格式化就需要将tmp目录下的文... 阅读全文
posted @ 2015-07-30 09:22 大数据从业者FelixZh 阅读(506) 评论(0) 推荐(0) 编辑
MapReduce：详解Shuffle过程
摘要：Shuffle过程，也称Copy阶段。reduce task从各个map task上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定的阀值，则写到磁盘上，否则直接放到内存中。官方的Shuffle过程如上图所示，不过细节有错乱，官方图并没有说明partition、sort和combiner具体作... 阅读全文
posted @ 2015-07-27 17:53 大数据从业者FelixZh 阅读(25567) 评论(5) 推荐(6) 编辑
win7 下 eclipse 远程调试 linux hadoop
摘要：前提： linux版本：ubuntu10。linux下jdk1.6 win7下 jdk1.8 eclipse-java-mars-M2-win32 插件hadoop-eclipse-plugin-1.2.11.复制 插件hadoop-eclipse-plugin-1.2.1到 eclipse... 阅读全文
posted @ 2015-01-05 15:02 大数据从业者FelixZh 阅读(182) 评论(0) 推荐(0) 编辑
eclipse下提交job时报错mapred.JobClient: No job jar file set. User classes may not be found.
摘要：错误信息：11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11/1... 阅读全文
posted @ 2014-12-30 15:23 大数据从业者FelixZh 阅读(573) 评论(0) 推荐(0) 编辑
写好的mapreduce程序，编译，打包，得到最后的jar包！ 验证jar包 ！ 整体流程
摘要：创建一个bin目录，用于存放编译.java文件产生的.class等结果，然后编译！编译结果！打包操作！打包结果！验证打包生成的jar包，是否正常，验证成功！！！！！！！！！！！！结果正确！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！... 阅读全文
posted @ 2014-12-17 16:22 大数据从业者FelixZh 阅读(654) 评论(0) 推荐(0) 编辑
在虚拟机环境下，电脑间拷贝配置好的伪分布式Hadoop环境，出现namenode不能启动的问题！
摘要：原因：在原来的电脑上配置伪分布的时候，已经将hostname与IP绑定了，所以拷贝到别的电脑的时候，重新启动的时候就会失败，因为新的电脑的IP不见得就和原来的电脑的IP一样！因为在不同的网络中，在NAT模式下Linux的IP肯定是位于不同的网段的！！ 解决方法：vi /etc/hosts 将原来的电... 阅读全文
posted @ 2014-12-15 23:58 大数据从业者FelixZh 阅读(1102) 评论(0) 推荐(0) 编辑
Linux下配置java的环境变量，So Easy!!
摘要：首先，在cd /usr ,mkdir java.将java安装包放到/usr/java，并解压。验证java。$ java -version如果提示有如下安装包包含它，但是没有安装。是环境变量没有配置的原因。（可以进入java解压包里面验证，可行就表示java包没有问题！）配置环境变量，vi /et... 阅读全文
posted @ 2014-11-20 11:17 大数据从业者FelixZh 阅读(574) 评论(0) 推荐(1) 编辑
虚拟机下运行linux通过nat模式与主机通信、与外网连接
摘要：首先：打开虚拟机的编辑菜单下的虚拟网络编辑器，选中VMnet8 NAT模式。通过NAT设置获取网关IP，通过DHCP获取可配置的IP区间。同时，将虚拟机的虚拟机菜单的设置选项中的网络适配器改为NAT模式。即可！打开linux，编辑网络在ＩＰＶ４设置中手动添加IP和网关，至此就可以ping通物理主机与... 阅读全文
posted @ 2014-11-19 14:56 大数据从业者FelixZh 阅读(728) 评论(0) 推荐(0) 编辑
Cygwin: connection closed by ::1
摘要：问题描述：在Win7下Cygwin中，使用ssh localhost命令， 出现Connectionclosedby::1的问题。解决方案：1、我的电脑-管理-找到CYGWINsshd。 2、右键 CYGWINsshd——属性——登录选项卡——选择“此账户”——浏览——高级——立即查找—... 阅读全文
posted @ 2014-11-06 15:12 大数据从业者FelixZh 阅读(414) 评论(0) 推荐(0) 编辑
ANT下载和配置
摘要：1) 在环境变量中设置ANT_HOME，值为你的安装目录ANT安装目录2) 在环境变量中设置JAVA_HOME，值为你的jdk安装目录3) 把ANT_HOME/bin，JAVA_HOME/bin加到你系统的path目录中去。 以我本机为例：ANT安装目录为：C:/Program Files/apa... 阅读全文
posted @ 2014-11-05 16:56 大数据从业者FelixZh 阅读(310) 评论(0) 推荐(0) 编辑

上一页 1 2 3