随笔分类 - hadoop安装
摘要:前期准备就不详细说了,课堂上都介绍了1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等) /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙5.ssh免登
阅读全文
摘要:上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便,本文介绍在eclipse下搭建开发环境,连接和提交任务到hadoop集群。 1. 环境 1. 环境 Eclipse版本Luna 4.4.1 安装插件hadoop-eclipse-plugin-2.6.0.jar,下载
阅读全文
摘要:Hadoop2.x的Eclipse插件编译与安装 2015-06-16 16:05 by hduhans, 142 阅读, 0 评论, 收藏, 编辑 Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择M
阅读全文
摘要:问题导读1.改变hdfs文件的权限,需要修改哪个配置文件?2.获取一个文件的或则目录的权限,哪个命令可以实现?3.哪个命令可以实现设置访问控制列表(ACL)的文件和目录?接上篇:Hadoop【2.7.1】初级入门之命令:文件系统shell1http://www.aboutyun.com/thread
阅读全文
摘要:问题导读1.Hadoop文件系统shell与Linux shell有哪些相似之处?2.如何改变文件所属组?3.如何改变hdfs的文件权限?4.如何查找hdfs文件,并且不区分大小写?概述文件系统 (FS) shell 包括各种类似的命令直接与 Hadoop Distributed File Syst
阅读全文
摘要:问题导读1.hadoop daemonlog管理员命令的作用是什么?2.hadoop如何运行一个类,如何运行一个jar包?3.hadoop archive的作用是什么?概述hadoop命令被bin/hadoop 脚本调用. 运行hadoop脚本不带任何命令将打印命令相关描述。Usage: hadoo
阅读全文
摘要:问题导读1.如何实现检测NodeManagers健康?2.配置ssh互信的作用是什么?3.启动、停止hdfs有哪些方式?上篇:hadoop【2.7.1】【多节点】集群配置【必知配置知识1】http://www.aboutyun.com/thread-15609-1-1.html监控NodeManag
阅读全文
摘要:问题导读1.说说你对集群配置的认识?2.集群配置的配置项你了解多少?3.下面内容让你对集群的配置有了什么新的认识?目的目的1:这个文档描述了如何安装配置hadoop集群,从几个节点到上千节点。为了学习hadoop,你可能先从单节点入手 (查看 Single Node Setup).这里有中文版had
阅读全文
摘要:问题导读1.从本文部署实际部署,总结本地模式、伪分布、分布式的区别是什么?2.单机是否是伪分布?3.本地模式是否可以运行mapreduce?hadoop2.7发布,这一版不太适合用于生产环境,但是并不影响学习:由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是: 本
阅读全文