摘要：
准备工作： 1.设置HADOOP_HOME，指向hadoop安装目录 2.在window下，需要把hadoop/bin那个目录替换下，在网上搜一个对应版本的 3.如果还报org.apache.hadoop.io.nativeio.NativeIO$Windows.access0错，把其中的hadoo 阅读全文
posted @ 2018-12-02 18:02
413Xiaol
阅读(695)
评论(0)
推荐(0)
摘要：
1.准备文件 [root@master ~]# cat input.txt hello java hello python hello c hello java hello js hello html hello java [root@master ~]# hadoop fs -mkdir /inp 阅读全文
posted @ 2018-11-14 23:07
413Xiaol
阅读(1313)
评论(0)
推荐(0)
摘要：
1.配置yarn-site.xml(所有节点) 路径： /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml 配置项： <property> <!-- 指明resourcemanager在什么地方 --> <name>yarn.resourcemanage 阅读全文
posted @ 2018-11-14 23:06
413Xiaol
阅读(2388)
评论(0)
推荐(0)
摘要：
设计原则：移动计算，而不是移动数据 计算层：Map/Reduce调度层：YARN数据层：HDFS 这三层之间没有必然的依赖性，只是经常这么搭配，而且都是hadoop那个包里一起安装的，三层都可以独立运行，某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource 阅读全文
posted @ 2018-11-14 23:02
413Xiaol
阅读(690)
评论(0)
推荐(0)
摘要：
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xiaol, access=WRITE, inode="/xiaol":root:supergr 阅读全文
posted @ 2018-11-12 23:36
413Xiaol
阅读(11913)
评论(4)
推荐(3)
摘要：
准备工作： 给hdfs里上传一份用于测试的文件 [root@master ~]# cat hello.txt hello 1 hello 2 hello 3 hello 4 [root@master ~]# hadoop fs -put ./hello.txt / [root@master ~]# 阅读全文
posted @ 2018-11-12 23:08
413Xiaol
阅读(1339)
评论(0)
推荐(0)
摘要：
存储文件系统元数据，例如：文件目录结构，不同文件的分块情况，每块存储在那个节点，权限等 这些元数据全部存储在内存中，所以，namenode要求内存比较大 hdfs在存文件的时候会按照块存储，每一块默认128M 如果存储的文件很小，他在hdfs里也会占用128M，所以hdfs适合存储大块的数据 如果文 阅读全文
posted @ 2018-11-10 11:52
413Xiaol
阅读(151)
评论(0)
推荐(0)
摘要：
1.生成自己的公钥和私钥 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 进入~/.ssh目录看多了两个文件：id_rsa id_rsa.pub 其中一个是公钥一个是私钥 2.把自己的公钥发送到目标主机上 ssh-copy-id 192.168.0.105 这时候需 阅读全文
posted @ 2018-11-10 10:55
413Xiaol
阅读(776)
评论(0)
推荐(0)
摘要：
1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld 开机启用 ： 阅读全文
posted @ 2018-11-10 10:14
413Xiaol
阅读(2415)
评论(0)
推荐(0)
摘要：
1.配置core-site.xml（每个节点上都要配置） 路径： /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 配置项1： name: fs.defaultFS value: hdfs://master的地址:端口 作用： 告诉所有机器master 阅读全文
posted @ 2018-11-10 09:33
413Xiaol
阅读(326)
评论(0)
推荐(0)
浙公网安备 33010602011771号