随笔分类 -  hadoop

hadoop开发MapReduce程序
摘要：准备工作： 1.设置HADOOP_HOME，指向hadoop安装目录 2.在window下，需要把hadoop/bin那个目录替换下，在网上搜一个对应版本的 3.如果还报org.apache.hadoop.io.nativeio.NativeIO$Windows.access0错，把其中的hadoo 阅读全文
posted @ 2018-12-02 18:02 413Xiaol 阅读(702) 评论(0) 推荐(0)
运行hadoop自带的wordcount例子程序
摘要：1.准备文件 [root@master ~]# cat input.txt hello java hello python hello c hello java hello js hello html hello java [root@master ~]# hadoop fs -mkdir /inp 阅读全文
posted @ 2018-11-14 23:07 413Xiaol 阅读(1314) 评论(0) 推荐(0)
配置YARN
摘要：1.配置yarn-site.xml(所有节点) 路径： /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml 配置项： <property> <!-- 指明resourcemanager在什么地方 --> <name>yarn.resourcemanage 阅读全文
posted @ 2018-11-14 23:06 413Xiaol 阅读(2397) 评论(0) 推荐(0)
分布式计算hadoop三大组件
摘要：设计原则：移动计算，而不是移动数据 计算层：Map/Reduce调度层：YARN数据层：HDFS 这三层之间没有必然的依赖性，只是经常这么搭配，而且都是hadoop那个包里一起安装的，三层都可以独立运行，某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource 阅读全文
posted @ 2018-11-14 23:02 413Xiaol 阅读(692) 评论(0) 推荐(0)
访问HDFS报错：org.apache.hadoop.security.AccessControlException: Permission denied
摘要：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xiaol, access=WRITE, inode="/xiaol":root:supergr 阅读全文
posted @ 2018-11-12 23:36 413Xiaol 阅读(11929) 评论(4) 推荐(3)
访问hdfs里的文件
摘要：准备工作： 给hdfs里上传一份用于测试的文件 [root@master ~]# cat hello.txt hello 1 hello 2 hello 3 hello 4 [root@master ~]# hadoop fs -put ./hello.txt / [root@master ~]# 阅读全文
posted @ 2018-11-12 23:08 413Xiaol 阅读(1341) 评论(0) 推荐(0)
hadoop namenode
摘要：存储文件系统元数据，例如：文件目录结构，不同文件的分块情况，每块存储在那个节点，权限等 这些元数据全部存储在内存中，所以，namenode要求内存比较大 hdfs在存文件的时候会按照块存储，每一块默认128M 如果存储的文件很小，他在hdfs里也会占用128M，所以hdfs适合存储大块的数据 如果文 阅读全文
posted @ 2018-11-10 11:52 413Xiaol 阅读(153) 评论(0) 推荐(0)
启动hadoop集群
摘要：1.配置core-site.xml（每个节点上都要配置） 路径： /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 配置项1： name: fs.defaultFS value: hdfs://master的地址:端口 作用： 告诉所有机器master 阅读全文
posted @ 2018-11-10 09:33 413Xiaol 阅读(327) 评论(0) 推荐(0)
安装hadoop
摘要：依赖： 1.jdk jdk-8u91-linux-x64.rpm 2.hadoop hadoop-2.7.3.tar.gz 把这两个依赖放到 /usr/local/ 下 安装JDK 这里直接用rpm安装 rpm -ivh jdk-8u91-linux-x64.rpm 安装好以后，会在 /usr目录下 阅读全文
posted @ 2018-11-09 23:42 413Xiaol 阅读(103) 评论(0) 推荐(0)