随笔分类 - hadoop
摘要:软件园二期:1 Linux apt-get 软件安装:http://www.cnblogs.com/haimingwey/archive/2012/04/16/2452892.html2 .sh文件即shell文件(可直接运行的脚本文件)3 centos 修改ip地址,物理地址,网关:http://blog.163.com/windy_dcm/blog/static/19989346201152832323632/4 linux下大于2TB硬盘格式化及挂载,parted分大于2T的分区方法,parted使用步骤,linux GPT分区表 管理自动挂载分区:http://hi.baidu.com
阅读全文
摘要:一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=…错误,原因是格式化namenode后会重新创建一个新的namespaceID,以至于和datanode上原有的不一致。解决方法:删除datanode dfs.data.dir目录(默认为tmp/dfs/data)下的数据文件修改dfs.data.dir/current/VERSION 文件,把namespaceID修
阅读全文
摘要:1.安装插件准备程序:eclipse-3.3.2(这个版本的插件只能用这个版本的eclipse) hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下)将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclipse。2.打开MapReduce视图Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。3.添加一个MapReduce环境在eclipse下端,控制台
阅读全文
摘要:下载setup.exe,这是在线安装程序。除了默认的安装包,还要额外的安装gcc4和gdb。 在Select Packages界面查找gcc4 然后选择安装All->Devel下的gcc4: GCC Release Series 4 compiler(C & C++ install helper). 还要查找gdb,安装Devel下的The GNU Debugger 安装完毕cygwin以后,执行gcc -v命令,确定你的gcc真的安装好了,并且版本是4.5.3 以及gdb -v 可以试着写一个Hello World程序编译运行一下
阅读全文
摘要:在安装好cygwin 进行ssh 服务配置时。第一步使用命令 ssh-host-config 命令进行设置。然后在机器上启动cygwin sshd 服务。 服务中显示已启动,但是刷新服务列表时发现该服务自动停止了。提示查看日志警报。然后我重新将ssh配置了一遍ssh-host-config这次就成功了
阅读全文
摘要:1 整个过程视频教程:http://v.youku.com/v_show/id_XMzc5MzM1NDQw.html下载地址:http://pan.baidu.com/share/link?shareid=211927&uk=16785941892 cygwin的下载网址:http://www.cygwin.com3 cygwin的vim设置:http://blog.163.com/xjx_user/blog/static/21493137720130104037220/注意".vimrc" 放在自己的目录下 首先通过cd ~ 切换到自己的目录 然以后vi .vim
阅读全文
摘要:WordCount.java源码及解释:View Code package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.
阅读全文

浙公网安备 33010602011771号