11 2018 档案

运行hadoop自带的wordcount例子程序
摘要：1.准备文件 [root@master ~]# cat input.txt hello java hello python hello c hello java hello js hello html hello java [root@master ~]# hadoop fs -mkdir /inp 阅读全文
posted @ 2018-11-14 23:07 413Xiaol 阅读(1352) 评论(0) 推荐(0)
配置YARN
摘要：1.配置yarn-site.xml(所有节点) 路径： /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml 配置项： <property> <!-- 指明resourcemanager在什么地方 --> <name>yarn.resourcemanage 阅读全文
posted @ 2018-11-14 23:06 413Xiaol 阅读(2417) 评论(0) 推荐(0)
分布式计算hadoop三大组件
摘要：设计原则：移动计算，而不是移动数据 计算层：Map/Reduce调度层：YARN数据层：HDFS 这三层之间没有必然的依赖性，只是经常这么搭配，而且都是hadoop那个包里一起安装的，三层都可以独立运行，某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource 阅读全文
posted @ 2018-11-14 23:02 413Xiaol 阅读(719) 评论(0) 推荐(0)
访问HDFS报错：org.apache.hadoop.security.AccessControlException: Permission denied
摘要：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=xiaol, access=WRITE, inode="/xiaol":root:supergr 阅读全文
posted @ 2018-11-12 23:36 413Xiaol 阅读(12009) 评论(4) 推荐(3)
访问hdfs里的文件
摘要：准备工作： 给hdfs里上传一份用于测试的文件 [root@master ~]# cat hello.txt hello 1 hello 2 hello 3 hello 4 [root@master ~]# hadoop fs -put ./hello.txt / [root@master ~]# 阅读全文
posted @ 2018-11-12 23:08 413Xiaol 阅读(1360) 评论(0) 推荐(0)
hadoop namenode
摘要：存储文件系统元数据，例如：文件目录结构，不同文件的分块情况，每块存储在那个节点，权限等 这些元数据全部存储在内存中，所以，namenode要求内存比较大 hdfs在存文件的时候会按照块存储，每一块默认128M 如果存储的文件很小，他在hdfs里也会占用128M，所以hdfs适合存储大块的数据 如果文 阅读全文
posted @ 2018-11-10 11:52 413Xiaol 阅读(182) 评论(0) 推荐(0)
Linux ssh面密码登录
摘要：1.生成自己的公钥和私钥 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 进入~/.ssh目录看多了两个文件：id_rsa id_rsa.pub 其中一个是公钥一个是私钥 2.把自己的公钥发送到目标主机上 ssh-copy-id 192.168.0.105 这时候需 阅读全文
posted @ 2018-11-10 10:55 413Xiaol 阅读(804) 评论(0) 推荐(0)
Linux服务管理（开启关闭防火墙）
摘要：1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld 开机启用 ： 阅读全文
posted @ 2018-11-10 10:14 413Xiaol 阅读(2447) 评论(0) 推荐(0)
启动hadoop集群
摘要：1.配置core-site.xml（每个节点上都要配置） 路径： /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 配置项1： name: fs.defaultFS value: hdfs://master的地址:端口 作用： 告诉所有机器master 阅读全文
posted @ 2018-11-10 09:33 413Xiaol 阅读(343) 评论(0) 推荐(0)
Linux设置HostName
摘要：hostnamectl set-hostname xiaol 阅读全文
posted @ 2018-11-10 00:36 413Xiaol 阅读(215) 评论(0) 推荐(0)
安装hadoop
摘要：依赖： 1.jdk jdk-8u91-linux-x64.rpm 2.hadoop hadoop-2.7.3.tar.gz 把这两个依赖放到 /usr/local/ 下 安装JDK 这里直接用rpm安装 rpm -ivh jdk-8u91-linux-x64.rpm 安装好以后，会在 /usr目录下 阅读全文
posted @ 2018-11-09 23:42 413Xiaol 阅读(112) 评论(0) 推荐(0)
VM和Windows Ping不通
摘要：连接模式：桥接 Linux上1.修改 /etc/sysconfig/network-scripts/ifcfg-enp0s3 文件 ONBOOT=yes2.service network restart Windows上打开windo防火墙->高级设置->入站规则->找到“公用”的“文件和打印共享（ 阅读全文
posted @ 2018-11-08 23:59 413Xiaol 阅读(182) 评论(0) 推荐(0)