文章分类 -  Hadoop

hadoop安装配置问题，
摘要：nodename 没启动，看logs 里的NameNode.log 发现，data/dfs/name/ 里的current 权限是root 要改下—— chown hadoop:hadoop current 启动报错——看写入的log文件， starting resourcemanager, log 阅读全文
posted @ 2016-02-25 16:49 R142857 阅读(116) 评论(0) 推荐(0)
linux jdk 安装，环境设置
摘要：1，下载， <1>从SUN下载jdk-8u73-linux-x64.tar.gz 在/usr下新建java文件夹，将安装包放在/usr/java目录下 查询 jdk java -version [hadoop@localhost ~]$ java -versionopenjdk version "1 阅读全文
posted @ 2016-02-23 16:05 R142857 阅读(220) 评论(0) 推荐(0)
如何新建一个 Map/Reduce 项目？
摘要：第一步：首先打开 Myeclipse，我们选择 File---New---Other，点击后出现如下界面。第二步：选中 Map/Reduce Project，点击下一步出现如下界面。第三步：在 Project name 后面输入项目名称比如 hadoop，点击 Finish 完成 Map/Reduc... 阅读全文
posted @ 2015-10-14 10:10 R142857 阅读(360) 评论(0) 推荐(0)
搭建Eclipse开发环境
摘要：前面的任务中我们已经搭建了一个伪分布模式的Hadoop运行环境。小讲知道，我们绝大多数同学都习惯在Eclipse中做Java开发，这个课程就是教大家如果搭建一个基于Eclipse IDE的Hadoop开发环境。闲话少说，走起！启动之前配置的Hadoop节点启动节点之后别忘记测试一下是否成功运行，忘记... 阅读全文
posted @ 2015-10-14 10:08 R142857 阅读(171) 评论(0) 推荐(0)
安装Hadoop，常见错误及解决办法
摘要：1.查看日志找出错原因如果未做配置文件修改，日志文件会放在 Hadoop目录的 logs目录下，如：[hadoop@single-hadoop-dajiangtai-com hadoop-2.2.0-x64]$ ls -l logstotal 552-rw-rw-r--. 1 hadoop hado... 阅读全文
posted @ 2015-10-13 17:39 R142857 阅读(547) 评论(0) 推荐(0)
安装Hadoop
摘要：Hadoop的安装模式Hadoop的安装模式分为三种：单机模式、伪分布模式、全分布模式。单机模式，这是默认的安装模式，也是占用资源最少的模式，配置文件不用修改。完全运行在本地，不与其它节点交互，也不使用Hadoop文件系统，不加载任何守护进程，主要用于开发调试MapReduce应用程序。伪分布模式，... 阅读全文
posted @ 2015-10-13 17:01 R142857 阅读(111) 评论(0) 推荐(0)