随笔分类 -  Hadoop

摘要:ssh 的 配置sudo apt-get install sshssh-keygen -t rsa -f ~/.ssh/id_rsa然后敲回车 就 行 了生成 私钥和 公钥 分别 存放在 id_rsa 和 id_rsa.pub中cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys下面 就 可以通过 cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 实现 整个集群 共享. 阅读全文
posted @ 2011-04-24 19:02 glose 阅读(196) 评论(0) 推荐(0)
摘要:可以在终端顺利启动Eclipse,但是鼠标双击,或者用起动器启动就会出现如下的内容:A Java RunTime Environment (JRE) or Java Development Kit (JDK) must be available in order to run Eclipse. No java virtual machine was found after searching the following locations:…我碰到这个问题的原因是,我在~/.bashrc中加的Java的环境变量。这个文件在你启动终端的时候会被读取,但他并非全局的。所以双击是找不到jre的。解决 阅读全文
posted @ 2011-04-14 20:27 glose 阅读(2696) 评论(0) 推荐(0)
摘要:http://blog.sina.com.cn/s/blog_537770820100bxmf.htmlhttp://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/http://hadoop.apache.org/common/docs/current/single_node_setup.htmlhadoop单机配置过程:单机基本配置信息:ubuntu10.10 JDK1.6 hadoop-0.21.0 Eclipse1、Ubuntu在安装时候需要把SSH Server安装上, 阅读全文
posted @ 2011-04-14 20:25 glose 阅读(1422) 评论(0) 推荐(0)
摘要:原文地址;http://hi.baidu.com/befree2008wl/blog/item/dcbe864f37c9423caec3ab7b.htmlHadoop API被分成(divide into)如下几种主要的包(package)org.apache.hadoop.conf 定义了系统参数的配置文件处理API。org.apache.hadoop.fs 定义了抽象的文件系统API。org.apache.hadoop.dfs Hadoop分布式文件系统(HDFS)模块的实现。org.apache.hadoop.io 定义了通用的I/O API,用于针对网络,数据库,文件等数据对象做读写操 阅读全文
posted @ 2010-10-16 10:29 glose 阅读(4429) 评论(1) 推荐(1)
摘要:最近一段时间在各种搭建Hadoop的运行环境,发现下面的文章不错,希望能够对大家有点帮助。http://blog.chinaunix.net/u3/99156/showart_2161877.html 阅读全文
posted @ 2010-10-14 14:16 glose 阅读(308) 评论(0) 推荐(0)
摘要:搭建Hadoop/Hbase环境: 1.在Apache/Hadoop项目的网站(hadoop.apache.org/)下载hadoop以及hbase的发行包,此处两个发行包的大版本号一定要一致,我使用的版本是0.20.1: hadoop-0.20.1.tar.gz hbase-0.20.1.tar.gz2. 我用的ubuntu9.04,首先安装java虚拟机,这个比较简单,随便找个绿色的解压就可以了,我使用java-6-openjdk,配置系统的环境变量: 编辑全局环境变量文件/etc/profile,在文件后面添加 export JAVA_HOME=/usr/lib/jvm/java-6-. 阅读全文
posted @ 2010-10-14 13:12 glose 阅读(717) 评论(0) 推荐(0)